[논문 리뷰] Inhibited Softmax for Uncertainty Estimation in Neural Networks

Marcin Możejko, Mateusz Susik외 1명|arXiv (Cornell University)|2018. 10. 03.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 24

한 줄 요약

이 논문은 신경망 내의 불확실성 추정을 위한 Inhibited Softmax를 제안한다. 이 방법은 표준 Softmax에 학습 가능한 상수 입력을 추가하여 모델의 불확실성을 나타내는 추가 출력을 생성한다. 이 접근법은 추가 파arameter, 다중 forward pass, 또는 distribution을 벗어난 데이터가 필요 없으며, 최신 기법들과 비교해 유사한 성능을 보이며, 이미지 인식 및 감성 분석 작업에서 기존의 기준 모델들을 능가한다.

ABSTRACT

We present a new method for uncertainty estimation and out-of-distribution detection in neural networks with softmax output. We extend softmax layer with an additional constant input. The corresponding additional output is able to represent the uncertainty of the network. The proposed method requires neither additional parameters nor multiple forward passes nor input preprocessing nor out-of-distribution datasets. We show that our method performs comparably to more computationally expensive methods and outperforms baselines on our experiments from image recognition and sentiment analysis domains.

연구 동기 및 목표

• 추가 파rameter나 다중 forward pass가 필요 없는 단순하고 효율적인 신경망 내 불확실성 추정 방법을 개발하기.
• 학습 중에 적대적 또는 OOD 데이터셋에 의존하지 않고 OOD 탐지 기능을 제공하기.
• 확장된 Softmax 레이어를 통해 수학적으로 해석 가능한 불확실성 측정값을 제공하기.
• 예측 정확도를 유지하면서 신경망 내 불확실성 근사치를 향상시키기.
• 이 방법이 더 복잡한 베이지안 또는 앙상블 기반 접근법과 유사한 성능을 보임을 보여주기.

제안 방법

• 표준 Softmax 레이어를 Inhibited Softmax 레이어로 대체하여, 상수 입력과 추가 출력 헤드를 추가함으로써 불확실성을 표현한다.
• 추가 출력은 학습 중에 학습되며, 모델의 신뢰도 또는 불확실성 측정값으로 해석된다.
• Inhibited Softmax 레이어는 최종 분류 레이어에 적용되어 단일 forward pass로 불확실성 추정이 가능하다.
• Softmax 계산에 단일 상수 입력을 추가하는 것 외에는 아키텍처에 추가적인 변경이 필요하지 않다.
• 표준 backpropagation와 호환되며, 최종 레이어에 추가적인 학습 가능한 파rameter를 도입하지 않는다.
• 이 방법은 이미지 분류(MNIST, CIFAR-10) 및 감성 분석(IMDB) 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 추가 파arameter나 OOD 데이터가 없이도 단일 forward pass로 신경망 내 불확실성을 추정할 수 있는가?
• RQ2 Inhibited Softmax 출력은 몬테카를로 드롭아웃 또는 베이지안 신경망의 불확실성 측정값과 어떻게 비교되는가?
• RQ3 불확실성 추정을 하면서도 예측 정확도를 유지하거나 향상시키는가?
• RQ4 최소한의 계산적 오버헤드로 OOD 샘플을 효과적으로 탐지할 수 있는가?
• RQ5 추가적인 Inhibited Softmax 출력을 타당한 불확실성 측정값으로 해석하는 데 수학적 기반은 무엇인가?

주요 결과

• Inhibited Softmax는 OOD 탐지에서 기준 모델을 능가하며, MNIST에서 AUC 0.987을 기록했고, MCD는 0.982, IS는 0.983이었다.
• IMDB 감성 분석 데이터셋에서 Inhibited Softmax는 AUC 0.689를 기록했으며, 기준 모델을 능가했고, 다른 방법들과 유사하거나 뛰어난 성능을 보였다.
• 이 방법은 높은 예측 정확도를 유지했으며, IMDB에서 테스트 정확도 0.885, CIFAR-10에서 0.875를 기록했고, 기준 모델 및 최신 기법들과 유사했다.
• Inhibited Softmax는 단일 forward pass만 필요하고 추가 파arameter가 없어, 몬테카를로 드롭아웃이나 베이지안 신경망과 같은 방법들과는 달리 효율적이다.
• 시각화 결과는 VAE의 잠재 공간 전반에서 Inhibited Softmax와 몬테카를로 드롭아웃 간의 불확실성 추정에서 강한 유사성을 보였다.
• 감성 분석에서 얕은 네트워크에서 이 방법이 특히 잘 작동하여, 향후 튜닝을 통해 더 깊은 아키텍처에도 적용 가능할 잠재력을 보였다.