[논문 리뷰] Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation

Omer Achrack, Raizy Kellerman외 1명|arXiv (Cornell University)|2020. 10. 05.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 공유된 특징에서 서로 다른 손실 함수로 훈련된 다수의 헤드를 사용하는 다손실 서브앙상블 방법을 제안한다. 이는 정확한 분류와 불확실성 추정을 위한 엔드 투 엔드 훈련을 가능하게 한다. 이 방법은 SVHN, CIFAR10, CIFAR100, ImageNet에서 최신 기준 성능을 달성하면서도 추론 시간이 짧고 불확실성 캘리브레이션 성능가치가 경쟁력 있다.

ABSTRACT

Deep neural networks (DNNs) have made a revolution in numerous fields during the last decade. However, in tasks with high safety requirements, such as medical or autonomous driving applications, providing an assessment of the models reliability can be vital. Uncertainty estimation for DNNs has been addressed using Bayesian methods, providing mathematically founded models for reliability assessment. These model are computationally expensive and generally impractical for many real-time use cases. Recently, non-Bayesian methods were proposed to tackle uncertainty estimation more efficiently. We propose an efficient method for uncertainty estimation in DNNs achieving high accuracy. We simulate the notion of multi-task learning on single-task problems by producing parallel predictions from similar models differing by their loss. This multi-loss approach allows one-phase training for single-task learning with uncertainty estimation. We keep our inference time relatively low by leveraging the advantage proposed by the Deep-Sub-Ensembles method. The novelty of this work resides in the proposed accurate variational inference with a simple and convenient training procedure, while remaining competitive in terms of computational time. We conduct experiments on SVHN, CIFAR10, CIFAR100 as well as Image-Net using different architectures. Our results show improved accuracy on the classification task and competitive results on several uncertainty measures.

연구 동기 및 목표

• 자율주행 및 의료 진단과 같은 안전이 중요한 딥러닝 응용 분야에서 신뢰할 수 있는 불확실성 추정의 필요성을 해결한다.
• 베이지안 방법의 계산 비효율성과 기존 비베이지안 불확실성 추정 기법의 높은 추론 비용 문제를 해결한다.
• 추론 속도를 희생시키지 않고 모델 정확도와 불확실성 캘리브레이션을 향상시킨다. 특히 실시간 시스템에 적합하다.
• 손실 함수별 헤드 최적화를 통해 다양한 서브앙상블의 엔드 투 엔드 훈련을 가능하게 하여 별도의 훈련 단계를 피한다.
• 딥 앙상블과 MC-dropout에 대한 실용적이고 확장 가능한 대안을 제공하며, 표준 벤치마크에서 경쟁력 있는 성능을 달성한다.

제안 방법

• 공유된 특징 추출기에서 다수의 서브앙상블 헤드를 훈련시키며, 각 헤드는 서로 다른 손실 함수(예: 교차 엔트로피, MSE, MAE)로 최적화된다.
• 추론 시 단일 프로퍼게이션을 사용하며, 서로 다른 손실 함수로 최적화된 헤드들의 예측 다양성을 활용해 불확실성 추정을 수행한다.
• 변분 추론 원리를 적용하여 각 헤드를 가중치에 대한 사후 분포에서 샘플로 간주함으로써 지식 기반 불확실성 추정을 가능하게 한다.
• 딥 서브앙상블(DSE)과 유사하게 공유 트렁크를 재사용함으로써 추론 비용을 낮추되, 손실 기반 헤드 특화를 통해 다양성을 강화한다.
• 후처리 모델링이나 다중 프로퍼게이션 없이도 표준 분류 훈련에 불확실성 추정을 통합한다.
• 예측 분산 또는 소프트맥스 출력의 엔트로피를 통해 앙상블을 이용해 불확실성 추정을 수행하며, 분포 내 데이터에서의 잘못된 예측 탐지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 공유된 특징에서 서로 다른 손실 함수로 훈련된 다수의 헤드가 분류 정확도 향상과 함께 불확실성 추정을 가능하게 할 수 있는가?
• RQ2 제안된 다손실 서브앙상블 방법이 MC-dropout 및 딥 앙상블과 같은 기존 비베이지안 방법보다 더 나은 불확실성 캘리브레이션 성능을 달성하는가?
• RQ3 이 방법이 모델 정확도와 불확실성 추정 성능 향상을 이룰 수 있는 동시에 낮은 추론 시간을 유지할 수 있는가?
• RQ4 다양한 손실 함수에 의해 유도된 다양성이 불확실성 추정과 모델의 강건성에 어떤 영향을 미치는가?
• RQ5 앙상블에서 유도된 불확실성 측정치가 분포 내 데이터에서의 잘못된 예측을 효과적으로 탐지할 수 있는가?

주요 결과

• 제안된 방법은 SVHN, CIFAR10, CIFAR100, ImageNet에서 최신 기준 성능을 달성하며, 이 벤치마크에서 MC-dropout 및 DSE를 모두 능가한다.
• CIFAR10에서 이 방법은 테스트 정확도 95.2%와 기대 캘리브레이션 오차(ECE) 0.113%를 기록했으며, 최고 성능 기법들과 경쟁 가능한 성능을 보였다.
• Xception 기반 ImageNet에서 이 방법은 상위-1 정확도 82.3%와 ECE 0.129%를 달성하여 대규모 데이터셋에서 강력한 성능을 입증했다.
• 이전 연구 대비 ECE를 감소시켰으며, 모든 데이터셋에서 ECE 값이 5% 이하로 일관되게 유지되어 강력한 캘리브레이션 성능을 보였다.
• 앙상블에서 유도된 불확실성 측정치는 정확한 예측와 잘못된 예측를 효과적으로 분리하며, 임계값 기반의 모델 오류 예측 탐지가 가능하다.
• 딥 앙상블보다 훨씬 낮은 추론 비용을 유지하면서도 경쟁적인 불확실성 추정 성능과 함께 정확도 향상을 달성했다.