[논문 리뷰] Post-hoc Calibration of Neural Networks.

Amir Rahimi, Kartik Gupta외 4명|arXiv (Cornell University)|2020. 06. 23.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 4

한 줄 요약

이 논문은 신경망의 사후 校정에 대한 이론적 기반을 제공하며, 기저 네트워크가 최적일 필요가 없더라도, 기저 네트워크(f)의 출력에 대해 음의 로그우도(NLL)를 최소화하는 가속 가능한 校정 헤드(g)를 추가하면 최종 모델(g∘f)이 校정될 수 있음을 증명한다. 이미지 분류 벤치마크에서의 실험은 이론적 결과를 확인한다.

ABSTRACT

Calibration of neural networks is a critical aspect to consider when incorporating machine learning models in real-world decision-making systems where the confidence of decisions are equally important as the decisions themselves. In recent years, there is a surge of research on neural network calibration and the majority of the works can be categorized into post-hoc calibration methods, defined as methods that learn an additional function to calibrate an already trained base network. In this work, we intend to understand the post-hoc calibration methods from a theoretical point of view. Especially, it is known that minimizing Negative Log-Likelihood (NLL) will lead to a calibrated network on the training set if the global optimum is attained (Bishop, 1994). Nevertheless, it is not clear learning an additional function in a post-hoc manner would lead to calibration in the theoretical sense. To this end, we prove that even though the base network ($f$) does not lead to the global optimum of NLL, by adding additional layers ($g$) and minimizing NLL by optimizing the parameters of $g$ one can obtain a calibrated network $g \circ f$. This not only provides a less stringent condition to obtain a calibrated network but also provides a theoretical justification of post-hoc calibration methods. Our experiments on various image classification benchmarks confirm the theory.

연구 동기 및 목표

• 신경망의 사후 校정 방법의 이론적 기초를 이해하기 위해.
• 기본 네트워크를 훈련한 후 추가적인 함수를 학습하는 것이 이론적으로 校정된 예측을 이끌 수 있는지 조사하기 위해.
• 기본 네트워크가 NLL의 전역 최적해에 도달해야만 校정이 가능하다는 조건을 완화하기 위해.
• 사후 校정 기법의 경험적 성공에 대한 이론적 정당성을 제공하기 위해.

제안 방법

• 논문은 사전 훈련된 기저 네트워크 f와 가속 가능한 校정 헤드 g로 구성된 이중 단계 모델을 도입하며, 이를 합성함수 g∘f로 표현한다.
• 기본 네트워크 f의 출력에 대해 g의 매개수를 최적화함으로써 NLL를 최소화하면, f가 전역적으로 최적일 필요 없이도 校정된 모델이 도출됨을 증명한다.
• 이론적 분석은 NLL를 최소화하면 전역 최적해에 도달했을 때 훈련 세트에서의 校정이 달성된다는 알려진 성질에 기반한다.
• 기본 네트워크 f를 고정하고, 오직 g의 매개수만 최적화하여 출력을 校정한다.
• g가 필요한 변환을 모델링할 수 있다면, 어떤 기저 네트워크나 校정 헤드 아키텍처에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 기본 네트워크 f가 전역적으로 최적일 필요 없이, 가속 가능한 헤드 g를 통한 사후 校정이 이론적으로 校정된 결과를 도출할 수 있는가?
• RQ2 g의 매개수를 최적화한 후 합성함수 g∘f가 校정된다는 것을 보장하는 조건은 무엇인가?
• RQ3 g를 통해 f의 출력에 대해 NLL를 최소화하는 것은 최종 모델의 校정과 어떻게 관련이 있는가?
• RQ4 이론적 정당성은 다양한 이미지 분류 벤치마크에서 실제 적용 시에도 유지되는가?

주요 결과

• 이론적 분석은 사전 훈련된 기저 네트워크 f의 출력에 대해 가속 가능한 헤드 g를 통해 NLL를 최소화하면, f가 전역적으로 최적일 필요 없이도 최종 모델 g∘f가 校정됨을 증명한다.
• 이 방법은 校정을 달성하기 위해 기저 네트워크가 NLL의 전역 최적해에 도달해야 한다는 조건을 완화한다.
• 이론적 정당성은 실무에서 사후 校정 기법의 경험적 성공을 뒷받침한다.
• 다양한 이미지 분류 벤치마크에서의 실험은 이론적 주장의 타당성을 검증하며, 효과적인 校정을 보여준다.