[논문 리뷰] Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks

Amir Rahimi, Amirreza Shaban외 3명|arXiv (Cornell University)|2020. 03. 15.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 21

한 줄 요약

이 논문은 다중 클래스 신경망에서 클래스 점수의 상대적 순위를 유지하는 학습 가능한 校정 함수인 내부 순서 유지 함수를 제안한다. 입력 순서와 출력 순서를 일치시킴으로써, 상위-k 예측이 변화하지 않도록 보장하면서도 표현력이 풍부하고 미분 가능한 신경망 아키텍처를 가능하게 하여, 다양한 데이터셋과 모델에서 온도 스케일링과 딜레르트 캘리브레이션을 능가한다.

ABSTRACT

Predicting calibrated confidence scores for multi-class deep networks is important for avoiding rare but costly mistakes. A common approach is to learn a post-hoc calibration function that transforms the output of the original network into calibrated confidence scores while maintaining the network's accuracy. However, previous post-hoc calibration techniques work only with simple calibration functions, potentially lacking sufficient representation to calibrate the complex function landscape of deep networks. In this work, we aim to learn general post-hoc calibration functions that can preserve the top-k predictions of any deep network. We call this family of functions intra order-preserving functions. We propose a new neural network architecture that represents a class of intra order-preserving functions by combining common neural network components. Additionally, we introduce order-invariant and diagonal sub-families, which can act as regularization for better generalization when the training data size is small. We show the effectiveness of the proposed method across a wide range of datasets and classifiers. Our method outperforms state-of-the-art post-hoc calibration methods, namely temperature scaling and Dirichlet calibration, in several evaluation metrics for the task.

연구 동기 및 목표

• 높은 신뢰도 예측이 신뢰성 없이 나타나는 딥 네트워크의 캘리브레이션 오차 문제를 해결하기 위해.
• 모든 사전 학습된 네트워크의 상위-k 예측을 유지하는 유연하면서도 제약된 캘리브레이션 함수의 가족을 개발하기 위해.
• 제한된 캘리브레이션 데이터 세트 설정에서 일반화를 향상시키기 위해 순서 불변성 및 대각선 하위 가족을 도입하기 위해.
• 표준 구성 요소를 사용하여 복잡한 내부 순서 유지 함수를 표현할 수 있는 신경망 아키텍처를 설계하기 위해.
• 온도 스케일링과 딜레르트 캘리브레이션과 같은 기존 후행 캘리브레이션 방법보다 캘리브레이션 오차와 내구성 면에서 뛰어나지 않도록 하기 위해.

제안 방법

• 입력 로짓의 상대적 순서가 모든 차원에서 출력 로짓으로 유지되는 내부 순서 유지 함수의 개념을 도입한다.
• 표준 레이어(예: MLP, 정규화 등)로 구성된 신경망 아키텍처를 제안하며, 이는 내부 순서 유지 성질을 자연스럽게 만족한다.
• 두 가지 하위 가족을 정의한다: 순서 불변 함수(입력 순서에 대해 순열 동치성)와 대각선 함수(각 클래스에 대해 동일한 변환 적용)
• 단체 도메인을 사용하여 함수 행동을 시각화하고 제약함으로써 가설 공간을 축소하고 일반화를 향상시킨다.
• 보존된 네트워크 정확도를 유지하면서도, 보류된 캘리브레이션 세트에서 캘리브레이션 함수를 학습하기 위한 미분 가능한 목적 함수를 사용한다.
• 사전 학습된 어떤 딥 네트워크든 마지막 소프트맥스 레이어를 학습된 캘리브레이션 함수로 교체함으로써 후행적으로 적용한다.

실험 결과

연구 질문

• RQ1 일반적인 목적의 학습 가능한 캘리브레이션 함수를 설계할 수 있는가? 이는 어떤 딥 네트워크의 상위-k 예측도 유지해야 한다.
• RQ2 제한된 캘리브레이션 데이터에서 일반화를 향상시키기 위해 캘리브레이션 함수의 가설 공간을 어떻게 제약할 수 있는가?
• RQ3 순서 불변성, 대각선성 등과 같은 아키텍처 및 인덕티브 비이즈 선택이 더 나은 캘리브레이션 성능을 이끌어내는가?
• RQ4 내부 순서 유지 함수 아키텍처는 기존의 후행 캘리브레이션 방법(온도 스케일링, 딜레르트 캘리브레이션 등)을 능가하는가?
• RQ5 제안된 방법은 다양한 데이터셋과 모델 아키텍처에서 높은 정확도를 유지하면서도 캘리브레이션 오차를 크게 줄일 수 있는가?

주요 결과

• 제안된 내부 순서 유지(OP) 방법은 모든 데이터셋 평균에서 가장 낮은 마진 캘리브레이션 오차를 기록했으며, 다음으로 좋은 방법과 비교해 상대 오차가 0.213로 0.725에 비해 뚜렷이 낮았다.
• 순서 불변(OI) 하위 가족은 12개 데이터셋 중 7개에서 마진 캘리브레이션 오차 면에서 최고 성능을 기록했으며, CIFAR-100과 ImageNet에서도 마찬가지였다.
• DenseNet-40을 사용한 CIFAR-100에서 OI 방법은 마진 캘리브레이션 오차를 0.00000으로 줄였으며, 캘리브레이션되지 않은 베이스라인보다도 뛰어났다.
• 모든 데이터셋에서 기대 캘리브레이션 오차(ECE)가 지속적으로 감소했으며, OI 변종은 12개 벤치마크 중 8개에서 가장 낮은 ECE를 기록했다.
• 대각선(Diag) 변종은 작은 캘리브레이션 세트에서 뛰어난 성능을 보이며, 파라미터 공유를 줄임으로써 일반화가 향상됨을 시사했다.
• 마진 캘리브레이션 오차에서 OI 방법은 캘리브레이션되지 않은 베이스라인 대비 평균 72.5%의 상대 오차 개선을 달성했으며, 온도 스케일링과 딜레르트 캘리브레이션을 크게 능가했다.