[논문 리뷰] Uncertainty in the Variational Information Bottleneck

Alexander A. Alemi, Ian Fischer외 1명|arXiv (Cornell University)|2018. 07. 02.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 65

한 줄 요약

본 논문은 Variational Information Bottleneck (VIB)가 표현 및 레이트의 불확실성을 모델링함으로써 FashionMNIST에서 추가 보정 없이 보정된 예측과 효과적인 분포 외 탐지를 가능하게 한다는 것을 보인다.

ABSTRACT

We present a simple case study, demonstrating that Variational Information Bottleneck (VIB) can improve a network's classification calibration as well as its ability to detect out-of-distribution data. Without explicitly being designed to do so, VIB gives two natural metrics for handling and quantifying uncertainty.

연구 동기 및 목표

• 본 연구의 목표는 알레이터릭(측정오차에 의한) 불확실성, 인식적 불확실성, 그리고 분포 외 불확실성 속에서 신경망의 신뢰할 수 있는 불확실성 정량화를 촉진하는 것이다.
• VIB가 추가 보정 기술 없이 보정된 예측을 제공함을 보인다.
• 표준 데이터셋에서 VIB의 분포 외 탐지 및 강건성에 대한 효과를 입증한다.

제안 방법

• 정보 병합의 변분 bound를 사용하여 확률적 인코더 eθ(z|x)와 변분 주변 분포 mφ(z)를 학습한다.
• 잠재 코드 Z로부터 레이블을 예측하기 위해 변분 분류기 qψ(y|z)를 학습한다.
• 정확도와 레이트를 혼합하는 E[log qψ(y|z)] − β E[log (eθ(z|x)/mφ(z))]를 최대화하도록 bound를 최적화한다.
• Z와 Y 모두의 무작위성을 통해 이중 확률적 모델링으로 불확실성을 다루며 예측의 평균과 분산을 가능하게 한다.
• 훈련 및 테스트 중 기대값을 추정하기 위해 몬테카를로 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 VIB가 결정론적 기준선과 비교하여 신경망의 보정을 개선하는가?
• RQ2 사후 보정 없이 VIB가 분포 외 데이터의 탐지를 개선할 수 있는가?
• RQ3 VIB의 불확실성 지표(R, 엔트로피 H 등)가 오류 및 OoD 탐지 성능과 어떻게 연관되는가?

주요 결과

• VIB는 기준선 결정론적 분류기보다 보정성이 우수하며 테스트 데이터에 대한 과신을 감소시킨다.
• FashionMNIST에서 VIB는 약 92.8–92.9%의 정확도를 달성하며, 기준선 및 온도 스케일링된 기준선과 비교해 오류 탐지 지표가 경쟁력 있다.
• VIB는 두 가지 불확실성 신호—rate (R)와 entropy (H)—를 제공하여 OoD 탐지 및 오류 탐지에 도움을 주며, OoD 탐지에서 R이 강하게 작동한다.
• 온도 스케일링은 여전히 강력한 사후 보정 방법이지만, VIB는 온도 스케일링 없이 보정성과 OoD 탐지 성능을 개선할 수 있으며, 특정 OoD 신호에 대해 R이 H보다 우수할 수 있다.
• VIB의 불확실성 신호는 FashionMNIST 데이터의 대규모 및 미세한 분포 변화는 물론 대칭 반전 또는 회전된 버전을 포함한 변화도 감지할 수 있다.