[논문 리뷰] Flexible Deep Neural Network Processing

Hokchhay Tann, Soheil Hashemi외 1명|arXiv (Cornell University)|2018. 01. 23.

Advanced Neural Network Applications참고 문헌 10인용 수 5

한 줄 요약

이 논문은 AlexNet과 ResNet-50을 사용한 ImageNet에서 전체 앙상블 추론 대비 정확도 손실이 0.1%에 불과한 2배의 지연 감소를 달성하는 유연한 딥 네트워크(모델) 앙상블 처리 기법을 제안한다. 이 기법은 신뢰도 마진을 평가하는 메타리ason러를 통해 추론을 언제 중단할지 동적으로 결정한다.

ABSTRACT

The recent success of Deep Neural Networks (DNNs) has drastically improved the state of the art for many application domains. While achieving high accuracy performance, deploying state-of-the-art DNNs is a challenge since they typically require billions of expensive arithmetic computations. In addition, DNNs are typically deployed in ensemble to boost accuracy performance, which further exacerbates the system requirements. This computational overhead is an issue for many platforms, e.g. data centers and embedded systems, with tight latency and energy budgets. In this article, we introduce flexible DNNs ensemble processing technique, which achieves large reduction in average inference latency while incurring small to negligible accuracy drop. Our technique is flexible in that it allows for dynamic adaptation between quality of results (QoR) and execution runtime. We demonstrate the effectiveness of the technique on AlexNet and ResNet-50 using the ImageNet dataset. This technique can also easily handle other types of networks.

연구 동기 및 목표

• 실시간 및 자원 제약이 있는 시스템에 DNN 앙상블를 구현할 때 발생하는 높은 추론 지연과 계산 비용을 해결한다.
• 정확도와 지연 시간 간의 상충 관계를 극복하기 위해 결과 품질(QoR)과 런타임 간의 동적 적응을 가능하게 한다.
• 예측에 대한 신뢰도가 높을 경우 추론을 조기에 종료할 수 있도록 유연한 계산 프레임워크를 개발한다. 이는 불필요한 계산을 줄인다.
• 이 방법이 전체 앙상블의 대부분의 정확도 이점을 유지하면서도 평균 추론 시간을 크게 줄일 수 있음을 입증한다.

제안 방법

• 각 DNN 추론 단계 이후에 상위 두 개의 소프트맥스 확률 간의 차이(신뢰도 마진)를 평가하는 메타리ason러를 도입한다.
• 임계값 기반의 조기 정지 메커니즘을 사용한다: 점수 마진이 동적으로 설정된 임계값을 초과하면 추론이 중단되고 현재 예측 결과가 반환된다.
• 지연 시간과 정확도 손실을 균형 잡는 복합 목적 함수를 최소화하기 위해 각 앙상블 크기에 맞는 다른 임계값을 설정한다.
• 목적 함수를 $ M = \alpha \cdot R + (1 - \alpha) \cdot E $ 로 정의한다. 여기서 $ R $ 은 지연 시간이고, $ E $ 는 전체 앙상블 대비 상대적 오차 증가량이다.
• 단일 GPU에서 순차적으로 적용하여, 동시에 하나의 DNN만 실행 가능한 저자원 플랫폼에서도 평가가 가능하도록 한다.
• 후처리 소프트맥스 출력 점수를 사용해 마진을 계산함으로써, 일관된 임계값 설정을 위한 [0,1] 범위 내의 값 확보

실험 결과

연구 질문

• RQ1 DNN 앙상블에서 동적 조기 정지를 통해 평균 추론 지연 시간을 현저히 감소시킬 수 있을까? 이때 정확도가 크게 떨어지지 않는가?
• RQ2 다양한 신뢰도 임계값 설정에 따라 추론 지연 시간과 정확도 간의 상충 관계는 어떻게 변화하는가?
• RQ3 다양한 계산 부하를 감소시키면서도 전체 앙상블의 정확도 이점을 얼마나 잘 유지할 수 있는가?
• RQ4 제안된 방법은 AlexNet과 ResNet-50와 같은 다양한 DNN 아키텍처에 일반화될 수 있는가?
• RQ5 지연 시간과 정확도 손실의 복합 비용을 최소화하는 최적의 임계값 설정은 무엇인가?

주요 결과

• 7개의 DNN를 포함한 AlexNet 앙상블에서, 탄력적인 처리 방식으로 평균 추론 지연 시간이 11.67 ms에서 6.51 ms로 50% 감소했으며, 전체 앙상블 실행 시 0.6043 대비 정확도는 0.6032를 유지했다.
• AlexNet의 경우 정확도 손실이 단지 0.1%에 불과하여, 지연 시간 감소에 비해 성능 손실가 최소화됨을 입증했다.
• 이 방법은 조절 가능한 상충 관계를 제공한다: 신뢰도 임계값을 조절함으로써 사용자는 지연 시간과 정확도 간의 균형을 제어할 수 있으며, 조기 정지를 완전히 비활성화함으로써 정확도 손실 없이도 실행할 수 있다.
• 이 기법은 AlexNet과 ResNet-50 모두에서 ImageNet 데이터셋을 사용해 검증되었으며, 다양한 DNN 아키텍처에 효과적임을 보였다.
• 낮은 계산 오버헤드와 순차 실행 호환성 덕분에 임베디드 플랫폼과 데이터센터 등 다양한 시스템에 적용 가능하다.
• 이 방법은 다른 신경망 유형과 머신러닝 모델로도 확장 가능하므로, 자원 제약이 있는 환경에서의 일반적인 추론 솔루션으로 활용 가능하다.