[논문 리뷰] Adaptive Ensemble Prediction for Deep Neural Networks based on Confidence Level

Hiroshi Inoue|arXiv (Cornell University)|2017. 02. 27.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 예측 신뢰도 수준에 따라 동적으로 앙상블을 중단하는 적응형 앙상블 예측 방법을 제안한다. 이는 정확도를 훼손하지 않고 추론 비용을 줄인다. 통계적으로 엄밀한 신뢰도 임계값을 사용함으로써, 단순한 조기 종료 방법보다 우수한 성능을 보이며, 고정된 앙상블과 유사한 정확도를 달성하면서도 훨씬 낮은 계산 부담을 갖는다.

ABSTRACT

Ensembling multiple predictions is a widely used technique for improving the accuracy of various machine learning tasks. One obvious drawback of ensembling is its higher execution cost during inference. In this paper, we first describe our insights on the relationship between the probability of prediction and the effect of ensembling with current deep neural networks; ensembling does not help mispredictions for inputs predicted with a high probability even when there is a non-negligible number of mispredicted inputs. This finding motivated us to develop a way to adaptively control the ensembling. If the prediction for an input reaches a high enough probability, i.e., the output from the softmax function, on the basis of the confidence level, we stop ensembling for this input to avoid wasting computation power. We evaluated the adaptive ensembling by using various datasets and showed that it reduces the computation cost significantly while achieving accuracy similar to that of static ensembling using a pre-defined number of local predictions. We also show that our statistically rigorous confidence-level-based early-exit condition reduces the burden of task-dependent threshold tuning better compared with naive early exit based on a pre-defined threshold in addition to yielding a better accuracy with the same cost.

연구 동기 및 목표

• 딥 네ural 네트워크에서 앙상블 방법의 높은 추론 비용을 해결하기 위해.
• 높은 신뢰도 예측이 추가 앙상블에서 유의미한 이점을 얻는지 조사하기 위해.
• 정확도를 떨어뜨리지 않고 계산을 줄이는, 신뢰도 수준 기반 조기 종료 메커니즘을 개발하기 위해.
• 경험적 임계값 대신 통계적으로 근거가 있는 기준으로 고안된 기준을 도입함으로써 작업별 하이퍼파rameter 튜닝의 부담을 최소화하기 위해.
• 고정된 예측 수를 갖는 정적 앙상블과 유사한 추론 효율성을 달성하면서도, 입력당 예측 수를 줄이기 위해.

제안 방법

• 각 예측의 신뢰도 측정치로 소프트맥스 출력 확률을 사용한다.
• 통계적으로 유도된 신뢰도 임계값을 적용하여 주어진 입력에 대해 앙상블을 언제 중단할지 결정한다.
• 예측 신뢰도가 임계값 이하일 경우에만 앙상블을 계속하며, 불필요한 계산을 피한다.
• 임계값은 예측 신뢰성과 불확실성에 대한 통계적 분석에서 유도된다.
• 고정된 추정기 수가 아니라, 입력별로 신뢰도에 따라 동적으로 계산을 조정한다.
• 조기 종료를 추론 파이프라인에 통합하여 가변 길이의 전방 전파를 허용한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크가 높은 신뢰도를 부여한 입력에 대해 앙상블이 예측 성능을 향상시키는가?
• RQ2 신뢰도 수준 기반 조기 종료 전략은 정확도를 유지하면서 계산 비용을 줄일 수 있는가?
• RQ3 경험적 임계값과 비교해 통계적으로 근거가 있는 임계값은 조기 종료 성능에서 어떻게 다른가?
• RQ4 적응형 앙상블은 정확도를 떨어뜨리지 않고 얼마나 많은 추론 시간을 줄일 수 있는가?
• RQ5 이 방법은 조기 종료 시스템에서 작업별 하이퍼파rameter 튜닝의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• 정적 앙성블과 유사한 정확도를 유지하면서도, 추론 계산 비용을 크게 줄였다.
• 높은 신뢰도로 예측된 입력에 대해서는 앙상블이 거의 또는 전혀 유의미한 이점을 제공하지 않아, 조기 종료의 필요성을 뒷받침한다.
• 경험적으로 유도된 신뢰도 임계값은 정확도와 하이퍼파rameter 선택에 대한 강건성 측면에서 단순한 임계값 기반 조기 종료보다 뛰어나다.
• 유사한 계산 비용에서 기준 조기 종료 방법보다 더 높은 정확도를 달성한다.
• 원칙적인 통계 기준에 기반함으로써 작업별 임계값 튜닝의 부담을 줄였다.
• 다양한 데이터셋과 네트워크 아키텍처에서의 평가를 통해 효율성과 정확도 향상의 일관성 있는 성과를 확인했다.