[논문 리뷰] Uncertainty Estimation and Calibration with Finite-State Probabilistic RNNs

Cheng Wang, Carolin Lawrence외 1명|arXiv (Cornell University)|2020. 11. 24.

Fault Detection and Control Systems참고 문헌 55인용 수 7

한 줄 요약

이 논문은 학습 가능한 온도 매개변수를 사용한 Gumbel-Softmax 기법을 통해 확률적 상태 전이를 이용해 불확실성을 추정하는 유한 상태 확률적 RNN인 ST-τ를 제안한다. 여러 추론 경로를 샘플링함으로써 ST-τ는 예측 불확실성을 정량화하며, 베이지안 신경망의 복잡성 없이도 잘 校정된 확률, 향상된 분포 외 탐지, 강화학습에서의 더 나은 탐색-이용 균형을 가능하게 한다.

ABSTRACT

Uncertainty quantification is crucial for building reliable and trustable machine learning systems. We propose to estimate uncertainty in recurrent neural networks (RNNs) via stochastic discrete state transitions over recurrent timesteps. The uncertainty of the model can be quantified by running a prediction several times, each time sampling from the recurrent state transition distribution, leading to potentially different results if the model is uncertain. Alongside uncertainty quantification, our proposed method offers several advantages in different settings. The proposed method can (1) learn deterministic and probabilistic automata from data, (2) learn well-calibrated models on real-world classification tasks, (3) improve the performance of out-of-distribution detection, and (4) control the exploration-exploitation trade-off in reinforcement learning.

연구 동기 및 목표

• 표준 RNN에서 분포 외 입력에 대해 낮은 확률 校정 문제를 해결하기 위해.
• 베이지안 신경망의 복잡성 없이 RNN의 불확실성 정량화 방법을 제공하기 위해.
• 실세계의 분류 및 강화학습 작업에서 잘 校정된 예측과 향상된 불확실성 인식 의사결정을 가능하게 하기 위해.
• 데이터로부터 결정론적 및 확률적 오토마타 학습을 지원하기 위해.
• 부분적으로 관찰 가능한 환경에서 내재된 불확실성 모델링을 통해 탐색-이용 균형을 제어하기 위해.

제안 방법

• 모델은 k개의 학습 가능한 상태로 구성된 유한 집합을 사용하며, 각 RNN 시간 단계에서 이러한 상태들에 대한 확률 분포를 계산한다.
• 다음 상태는 Gumbel-Softmax 기법을 사용해 샘플링되며, 이는 기울기 기반 학습을 위한 미분 가능한 샘플링을 가능하게 한다.
• Gumbel-Softmax의 온도 τ는 학습 중에 학습되며, 엔트로피 정규화 요소로 작용하여 불확실성 집중도를 제어한다.
• 예측 불확실성은 여러 번의 전방 전파를 실행하고 출력 확률의 평균과 분산을 계산하여 추정된다.
• 최소한의 아키텍처 변경으로 분류, OOD 탐지, 강화학습 작업에 적용된다.
• 이 방법은 LSTM 및 일반 RNN 아키텍처와 모두 호환되며, 탐욕적 및 확률적 행동 선택을 모두 지원한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망에 의존하지 않고도 유한 상태 확률적 RNN이 잘 校정된 불확실성 추정을 달성할 수 있는가?
• RQ2 학습된 온도 매개변수 τ는 불확실성 정량화와 모델 校정에 어떤 영향을 미치는가?
• RQ3 ST-τ는 표준 RNN 및 드롭아웃 기반 방법에 비해 분포 외 탐지 성능을 향상시킬 수 있는가?
• RQ4 확률적 상태 전이 메커니즘은 부분적으로 관찰 가능한 강화학습 환경에서 탐색을 향상시키는가?
• RQ5 ST-τ는 순차적 데이터로부터 결정론적 및 확률적 오토마타를 모두 학습할 수 있는가?

주요 결과

• IMDB 기반 OOD 작업에서 ST-τ는 O-AUPR 및 O-AUROC 점수에서 베이스라인들을 능가하는 최신 기술 성능을 달성한다.
• 학습 중에 온도 τ를 학습하는 것이 고정된 τ=1보다 유의미하게 더 좋은 OOD 탐지 성능을 내며, 특히 상태 수가 적은 경우(k=2)에 뚜렷하다.
• 강화학습에서 ST-τ는 LSTM, VD, BBB보다 더 높은 누적 보상을 기록하며 샘플 복잡도가 낮다. 특히 확률적 정책 설정에서 두드러진다.
• 실세계 분류 작업에서 ST-τ는 예측 확률과 실제 정확도 간의 일치도 향상되어 보다 잘 校정된 성능를 보였다.
• ST-τ는 순차적 데이터로부터 결정론적 및 확률적 오토마타를 성공적으로 학습하여 구조적 시퀀스 행동을 모델링할 수 있음을 입증했다.
• 절단 분석 결과, 작은 상태 수(k=2)와 학습된 τ 조합이 효과적인 불확실성 모델링을 위해 충분하며, 과적합을 방지하면서도 성능를 유지한다.