[논문 리뷰] Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning

Stefan Depeweg, José Miguel Hernández-Lobato외 2명|arXiv (Cornell University)|2017. 10. 19.

Machine Learning and Algorithms인용 수 121

한 줄 요약

이 논문은 잠재 변수를 가진 베이지안 신경망(BNN+LV)에서 예측 불확실성을 에피istemic(인식 가능한 불확실성)과 aleatoric(대수적인 불확실성)으로 분해하고, 이 분해를 활용해 활성 학습을 가능하게 하며 연속 설정에서 위험-감응 RL 기준을 도입한다.

ABSTRACT

Bayesian neural networks with latent variables are scalable and flexible probabilistic models: They account for uncertainty in the estimation of the network weights and, by making use of latent variables, can capture complex noise patterns in the data. We show how to extract and decompose uncertainty into epistemic and aleatoric components for decision-making purposes. This allows us to successfully identify informative points for active learning of functions with heteroscedastic and bimodal noise. Using the decomposition we further define a novel risk-sensitive criterion for reinforcement learning to identify policies that balance expected cost, model-bias and noise aversion.

연구 동기 및 목표

• 잠재 변수를 가진 BNN에서 예측 불확실성을 에피istemic과 aleatoric 구성요소로 분해하는 방법을 설명한다.
• 이질적 및 쌍봉형 노이즈가 존재하는 상황에서 데이터 효율적인 활성 학습을 시연한다.
• 가상 롤아웃에서 모델 편향(model bias)과 노이즈 회피를 균형 잡아 위험-감응 모델 기반 RL 기준을 도입한다.
• 비선형적이고 복잡한 노이즈 설정에서 불확실성 분해의 경험적 이점을 대조 기법들과 비교하여 보여준다.

제안 방법

• 잠재 입력 z와 가중치 불확실성 q(W)를 포함하는 잠재 변수 BN(N)이라고 하는 베이지안 신경망(BNN+LV) 모델.
• 불확실성 분해: 예측 p(y*|x*)의 에피istemic과 aleatoric 불확실성을 분리하기 위해 엔트로피- 및 분산 기반의 분할을 도출한다.
• 활성 학습: 정보 이론적 사후 엔트로피 감소 I(W,y*)를 사용해 에피istemic 불확실성이 높은 정보량이 풍부한 x*를 선택한다.
• 위험-감응 RL: 가상 롤아웃에서 기대 비용과 에피istemic 및 aleatoric 위험 항을 균형 있게 조정하는 기준을 정의하고 모델 편향과 노이즈 회피와의 연결고리를 제시한다.
• 몬테카를로 추정: q(W), z*, 노이즈를 샘플링하고 필요 시 최근접 이웃 엔트로피 추정치를 사용해 엔트로피, 분산 및 위험 항을 근사한다.
• 비교: 불확실성 분해를 검증하기 위해 GP 기반 베이스라인 및 변분/ HMC 추론 변형과 벤치마크를 수행한다.

실험 결과

연구 질문

• RQ1 잠재 변수를 가진 BNN에서 예측 불확실성을 에피istemic과 aleatoric 구성요소로 어떻게 분해할 수 있는가?
• RQ2 이 분해가 이질적이거나 쌍봉형 노이즈가 있는 설정에서 활성 학습을 개선하는가?
• RQ3 이 분해를 활용한 위험-감응 기준이 연속 도메인에서 모델 기반 RL의 정책 학습을 개선하는가?
• RQ4 제안된 접근법은 예측 성능과 불확실성 품질 측면에서 GP 베이스라인 및 다른 추론 방법과 어떻게 비교되는가?

주요 결과

데이터셋	I_bb-α(W,y*)	H_bb-α(y*|x*)	GP
Heteroscedastic	-1.79 ± 0.03	-1.92 ± 0.03	-2.09 ± 0.02
Bimodal	-2.04 ± 0.01	-2.06 ± 0.02	-2.86 ± 0.01
Wet-chicken	1.18 ± 0.16	0.57 ± 0.20	-3.22 ± 0.03

• 에피istemic 불확실성은 데이터가 적은 영역과 일치하며 복잡한 노이즈하에서 활성 학습에 informative 입력을 식별하는 데 도움이 된다.
• 엔트로피 기반 분해는 총 불확실성이 실패하는 이질적 및 쌍봉형 데이터에서 informative 입력을 드러낸다.
• 불확실성 분해를 포함한 BNN+LV는 이질적 노이즈 및 습한 닭(hwet-chicken) 작업에서 GP 베이스라인보다 활성 학습 성능이 우수하다.
• RL에서 위험-감응 기준은 위험을 에피istemic(모델 편향) 및 aleatoric(노이즈) 구성으로 구분하여 더 안전하고 신뢰할 수 있는 정책을 유도한다.
• 실험 전반에 걸쳐 활성 학습에서 정보 이득과 위험 가중 롤아웃 비용을 활용하면 모델 편향이 감소하고 베이스라인 대비 성능이 향상된다.