[논문 리뷰] Uncertainty Decomposition in Bayesian Neural Networks with Latent Variables

Stefan Depeweg, José Miguel Hernández-Lobato외 2명|arXiv (Cornell University)|2017. 06. 26.

Machine Learning and Algorithms참고 문헌 14인용 수 24

한 줄 요약

이 논문은 잠재변수를 가진 베이지안 신경망에서 정보 이론적 접근을 통해 예측 불확실성을 지식에 기반한(모델) 및 데이터에 기반한(데이터) 성분으로 분해하는 방법을 제안한다. 이 방법은 가중치 불확실성에 기인한 불확실성에 중점을 두어 모델 편향을 최소화하는 새로운 목표 함수를 도입함으로써 위험 감수성 있는 강화학습을 가능하게 하여, 실제 환경의 동역학에 더 안정적으로 일반화되는 정책을 도출한다.

ABSTRACT

Bayesian neural networks (BNNs) with latent variables are probabilistic models which can automatically identify complex stochastic patterns in the data. We describe and study in these models a decomposition of predictive uncertainty into its epistemic and aleatoric components. First, we show how such a decomposition arises naturally in a Bayesian active learning scenario by following an information theoretic approach. Second, we use a similar decomposition to develop a novel risk sensitive objective for safe reinforcement learning (RL). This objective minimizes the effect of model bias in environments whose stochastic dynamics are described by BNNs with latent variables. Our experiments illustrate the usefulness of the resulting decomposition in active learning and safe RL settings.

연구 동기 및 목표

• 잠재변수를 가진 베이지안 신경망에서 예측 불확실성을 지식에 기반한 성분과 데이터에 기반한 성분으로 분해하는 것.
• 지식에 기반한 불확실성에 기인한 모델 편향을 줄이기 위해 특별히 목표로 하는 위험 감수성 있는 강화학습 목표 함수 개발.
• 모델 예측 성능과 실제 세계 성능 간의 격차를 최소화하여 오프-폴리시 배치 강화학습에서 정책 일반화 향상.
• 고차원 산업 기준 벤치마크를 사용하여 활성 학습 및 안전한 강화학습 환경에서 방법 검증.
• 지식에 기반한 불확실성 최소화가 실제 환경에 배포되었을 때 예측 성능에 가까운 정책을 도출함을 보여주는 것.

제안 방법

• 예측 분포의 엔트로피를 지식에 기반한 성분과 데이터에 기반한 성분으로 분해하기 위해 정보 이론적 접근을 사용.
• 신경망 가중치와 잠재변수에 대한 사후분포를 요약하기 위해 인수 분해된 가우시안 근사 방법을 사용하는 변분 추론 프레임워크 적용.
• 예측에서 높은 지식에 기반한 불확실성에 대해 페널티를 주는 위험 감수성 목표 함수 유도.
• 예상 비용과 불확실성 측정치를 근사하기 위해 스토케스틱 가중치와 잠재변수에 대한 몬테카를로 샘플링 수행.
• 관측된 데이터에 대해 잠재변수를 가진 BNN을 훈련하기 위해 블랙박스 알파-다이버전스 최소화(α=1.0) 사용.
• 모델 예측 동역학과 진짜 동역학 하에서 정책 평가를 통해 모델 편향과 예상 비용의 상충관계 측정.

실험 결과

연구 질문

• RQ1 잠재변수를 가진 베이지안 신경망에서 예측 불확실성을 지식에 기반한 성분과 데이터에 기반한 성분으로 어떻게 분해할 수 있는가?
• RQ2 이 불확실성 분해를 활용하여 정보성 높은 데이터 포인트를 선택함으로써 활성 학습을 향상시킬 수 있는가?
• RQ3 지식에 기반한 불확실성 성분을 사용하여 모델 편향을 줄이는 위험 감수성 목표 함수를 정의할 수 있는가?
• RQ4 지식에 기반한 불확실성 최소화가 실제 세계 동역학과 모델 예측 동역학에서 정책 성능에 어떤 영향을 미치는가?
• RQ5 제안된 위험 감수성 목표 함수는 제한된 탐색 환경에서 오프-폴리시 배치 강화학습 시나리오에서 더 나은 일반화를 이끌어낼 수 있는가?

주요 결과

• 제안된 불확실성 분해 방법은 잠재변수를 가진 베이지안 신경망에서 지식에 기반한 성분과 데이터에 기반한 성분을 성공적으로 분리한다.
• 지식에 기반한 불확실성에 기반한 위험 감수성 목표 함수는 모델 예측 성능과 실제 세계 성능 간 격차를 줄인다.
• 새로운 목표 함수로 훈련된 정책은 예상 비용과 모델 편향 사이의 균형을 더 잘 달성하며, 특히 위험 매개변수 β가 증가할수록 성능 향상이 뚜렷하다.
• β=5일 때, 기준 모델 대비 모델 편향을 40% 감소시키면서 예상 비용은 평균 10%만 증가시킨다.
• 표준 편차를 위험 측정치로 사용하는 표준 위험 감수성 기준 모델보다 성능이 뛰어나며, 특히 실제 세계 동역학 하에서 성능 일관성을 유지하는 데서 두드러진다.
• 산업 기준 벤치마크에서 제안된 방법은 실제 평가에서 안정적인 성능과 낮은 분산을 달성하여, 모델 편향에 대한 강건성 향상을 보여준다.