[논문 리뷰] Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks

Stefan Depeweg, JM Hernández-Lobato외 2명|arXiv (Cornell University)|2017. 12. 10.

Fault Detection and Control Systems참고 문헌 4인용 수 6

한 줄 요약

이 논문은 은닉 변수를 가진 베이지안 신경망에서 입력 특징이 지식 기반 불확실성(epistemic)과 앨레아토릭 불확실성(aleatoric)에 어떻게 영향을 미치는지 정량화하는 새로운 민감도 분석 방법을 제안한다. 예측 불확실성 구성 요소의 입력에 대한 미분계수를 계산함으로써, 모델의 신뢰도(지식 기반) 또는 본질적 잡음(앨레아토릭)을 이끄는 특징들을 파악할 수 있으며, 이는 실제 데이터셋에 적용된 복잡한 확률적 모델의 해석 가능성 향상에 기여한다.

ABSTRACT

We derive a novel sensitivity analysis of input variables for predictive epistemic and aleatoric uncertainty. We use Bayesian neural networks with latent variables as a model class and illustrate the usefulness of our sensitivity analysis on real-world datasets. Our method increases the interpretability of complex black-box probabilistic models.

연구 동기 및 목표

• 입력 특징이 예측 불확실성에 어떻게 영향을 미치는지 분석함으로써 블랙박스 확률적 모델의 해석 가능성 향상.
• 예측 불확실성을 지식 기반(모델 불확실성)과 앨레아토릭(데이터 노이즈) 구성 요소로 분해하고, 이들의 입력에 대한 민감도 분석.
• 표준 기반의 기울기 방법을 확장하여, 베이지안 신경망의 불확실성 구성 요소에 적용 가능한 민감도 분석 프레임워크 개발.
• 특정 특징이 불확실성에 미치는 영향을 파악함으로써, 모델 모니터링 및 안전성 확보를 위한 실질적인 통찰 제공.

제안 방법

• 복잡한 확률적 함수를 모델링하고 지식 기반 및 앨레아토릭 불확실성을 정량화하기 위해 은닉 변수를 가진 베이지안 신경망을 사용한다.
• 전체 분산의 법칙을 적용하여 각 출력 차원의 예측 분산을 지식 기반 및 앨레아토릭 구성 요소로 분해한다.
• 민감도 점수는 테스트 데이터에 대해 지식 기반 및 앨레아토릭 불확실성 구성 요소의 평균 절대 기울기를 입력 특징에 대해 계산하여 산정한다.
• 지식 기반 민감도는 모델 가중치에 대한 기대 출력 분산의 기울기로 정의되며, 앨레아토릭 민감도는 은닉 변수에 대한 기대 분산의 기울기로 정의된다.
• 불확실성 구성 요소와 그 기울기를 추정하기 위해 가중치와 은닉 변수에 대해 몬테카를로 샘플링(각각 200개 샘플)을 사용한다.
• 모델 훈련은 α = 1.0로 설정된 블랙박스 α-발산 최소화를 사용하며, 가중치와 은닉 변수에 대한 근사 사후 분포를 최적화한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망 예측에서 어떤 입력 특징이 지식 기반 불확실성에 가장 크게 기여하는가?
• RQ2 어떤 입력 특징이 앨레아토릭 불확실성에 가장 크게 기여하는가(비관측 은닉 요소에 의존함을 시사)?
• RQ3 다양한 실제 회귀 데이터셋에서 지식 기반 및 앨레아토릭 불확실성의 민감도는 어떻게 비교되는가?
• RQ4 불확실성 구성 요소의 민감도 분석이 알려진 데이터 생성 메커니즘과 일관된 의미 있는 패턴을 드러내는가?

주요 결과

• 이질적 노이즈를 가진 토이 데이터셋에서, 방법은 입력 $x_1$ 이 지식 기반 불확실성에 기여하고 $x_2$ 가 앨레아토릭 불확실성에 기여함을 정확히 식별하여 데이터 생성 과정과 일치시켰다.
• 파워플랜트 데이터셋에서 온도와 대기압이 에너지 출력에 영향을 주는 복잡한 연소 과정으로 인해 주로 앨레아토릭 불확실성의 원인이 되었으며, 이는 이론적 기대와 일치했다.
• 해양 추진 플랜트 데이터셋에서 압축기 입구 온도와 압력는 데이터셋 내에서 일정한 값으로 유지되어 있어 지식 기반 불확실성이 높게 나타났으며, 이는 모델이 분포 외 이격에 민감함을 시사했다.
• UCI 데이터셋 전반에 걸쳐 혼합된 패턴을 발견: 일부 문제는 지식 기반 민감도가 지배적이었고, 일부는 앨레아토릭 민감도가 지배적이었으며, 일부는 둘의 조합이었으며, 이는 데이터셋 크기와 내재된 이질성 반영했다.
• 민감도 점수는 실질적인 통찰을 제공했으며, 예를 들어 고지식 기반 민감도를 보이는 특징은 안전 모니터링 대상이 되어야 하며, 고앨레아토릭 민감도를 보이는 특징은 비관측 확률적 과정과 연관됨을 시사했다.