[논문 리뷰] Dropout Distillation for Efficiently Estimating Model Confidence

Corina Gurău, Alex Bewley외 1명|arXiv (Cornell University)|2018. 09. 27.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 18

한 줄 요약

이 논문은 표준 신경망의 모델 캘리브레이션을 향상시키기 위해 교사 신경망의 몬테카를로 드롭아웃 샘플을 모방하도록 학습하는 학생 네트워크를 설계한 Dropout Distillation Network (DDN)을 제안한다. 이 방법은 테스트 시 단일 순방향 전파만으로도 100개의 MC 샘플과 유사한 불확실성 추정을 달성하며, 샘플링이 필요 없는 효율적인 접근 방식이다. DDN은 샘플링 없이도 정확도와 캘리브레이션을 모두 향상시켜 실시간 배포에 적합하다.

ABSTRACT

We propose an efficient way to output better calibrated uncertainty scores from neural networks. The Distilled Dropout Network (DDN) makes standard (non-Bayesian) neural networks more introspective by adding a new training loss which prevents them from being overconfident. Our method is more efficient than Bayesian neural networks or model ensembles which, despite providing more reliable uncertainty scores, are more cumbersome to train and slower to test. We evaluate DDN on the the task of image classification on the CIFAR-10 dataset and show that our calibration results are competitive even when compared to 100 Monte Carlo samples from a dropout network while they also increase the classification accuracy. We also propose better calibration within the state of the art Faster R-CNN object detection framework and show, using the COCO dataset, that DDN helps train better calibrated object detectors.

연구 동기 및 목표

• 실제 응용에 제약을 주는 표준 신경망의 불확실성 추정에서의 과신 문제를 해결하기 위해.
• 테스트 시 비용이 많이 드는 샘플링이 필요한 베이지안 신경망과 모델 앙상블의 계산 비용 효율적인 대안을 개발하기 위해.
• 모델 용량을 줄이지 않고 몬테카를로 드롭아웃 샘플에서 유도된 불확실성 지식을 흡수함으로써 모델 캘리브레이션을 향상시키기 위해.
• 학생-교사 디스티illation 프레임워크를 사용해 이미지 분류 및 객체 검출 작업에서 정확도와 캘리브레이션을 동시에 향상시키기 위해.

제안 방법

• 학습 데이터에서 분류 정확도를 최대화하도록 교사 네트워크를 훈련한다.
• 훈련 중에 교사 네트워크의 몬테카를로 드롭아웃 샘플을 생성하여 사후 예측 분포를 근사한다.
• 교사의 몬테카를로 샘플의 출력 확률을 따라잡기 위해 학생 네트워크(DDN)를 훈련하며, 과신을 방지하는 데 초점을 맞춘 새로운 디스티illation 손실을 사용한다.
• 디스티illation 손실을 훈련 중에 적용하여 학생 네트워크가 더 신뢰할 수 있고 잘 캘리브레이션된 불확실성 점수를 생성하도록 유도한다.
• 테스트 시 샘플링 없이 단일 순방향 전파를 통해 훈련된 DDN을 추론에 활용한다.
• CIFAR-10에서의 이미지 분류 및 Faster R-CNN 객체 검출에서의 COCO에서 DDN을 평가하여 기준 모델 및 MC-dropout과의 캘리브레이션과 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 테스트 시 샘플링이 필요 없는 비베이지안 신경망이 샘플링 없이도 더 내성적이고 잘 캘리브레이션된 성능을 낼 수 있는가?
• RQ2 몬테카를로 드롭아웃 샘플에서의 지식 디스티illation이 표준 네트워크의 불확실성 추정을 향상시킬 수 있는가?
• RQ3 제안된 방법이 더 효율적이면서도 100개의 MC-dropout 샘플과 유사한 캘리브레이션 성능을 달성할 수 있는가?
• RQ4 DDN이 이미지 분류 및 객체 검출 작업에서 정확도와 캘리브레이션을 동시에 향상시킬 수 있는가?
• RQ5 모델 앙상블 및 베이지안 신경망과 같은 최신 기술과 비교할 때 DDN의 캘리브레이션 성능과 추론 속도는 어떠한가?

주요 결과

• DDN은 테스트 시 단일 순방향 전파만으로도 드롭아웃 네트워크에서 100개의 몬테카를로 샘플과 경쟁 가능한 캘리브레이션 성능을 달성한다.
• 정확도가 주요 목적이 아니지만, 기준 모델 대비 DDN은 분류 정확도를 향상시킨다.
• CIFAR-10에서 테스트 샘플의 83.23%는 DDN이 진짜 클래스에 더 높은 확률을 할당하며, 특히 기준 모델이 과신한 경우에 두드러진다.
• COCO에서 Faster R-CNN 객체 검출 시 DDN은 잘못된 양성 검출의 신뢰도 점수를 낮추면서도 참 양성 검출에 대해서는 높은 신뢰도를 유지하여 검출기의 내성적 분석 능력을 향상시킨다.
• 오분류된 샘플의 70%에서 DDN은 진짜 클래스에 기준 모델보다 더 높은 확률을 할당하며, 6.56%의 경우 둘 다 실패하더라도 DDN은 잘못된 클래스에 대해 더 낮은 신뢰도를 할당한다.
• DDN은 새가 기계로 잘못 분류되거나 개가 고양이로 잘못 분류되는 등 모호하거나 어려운 예제에서 과신을 줄여 더 균형 잡힌 확률 분포를 할당함으로써 과신을 성공적으로 감소시킨다.