[논문 리뷰] Deep Ensembles from a Bayesian Perspective

Lara Hoffmann, Clemens Elster|arXiv (Cornell University)|2021. 05. 27.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 7

한 줄 요약

이 논문은 깊이 있는 앙상블을 기반으로 하는 통계 모델과 사전 분포 가정을 명시함으로써, 근사 베이지안 추론 방법으로 재해석한다. 학습 과정이나 성능을 변경하지 않고, 후처리를 통해 네트워크 가중치의 델타 분포를 가우시안 근사로 대체함으로써 불확실성 정량화를 향상시킨다. 이는 데이터가 적은 영역에서 지식 기반 불확실성(epistemic uncertainty)을 크게 증가시킨다.

ABSTRACT

Deep ensembles can be considered as the current state-of-the-art for uncertainty quantification in deep learning. While the approach was originally proposed as a non-Bayesian technique, arguments supporting its Bayesian footing have been put forward as well. We show that deep ensembles can be viewed as an approximate Bayesian method by specifying the corresponding assumptions. Our findings lead to an improved approximation which results in an enlarged epistemic part of the uncertainty. Numerical examples suggest that the improved approximation can lead to more reliable uncertainties. Analytical derivations ensure easy calculation of results.

연구 동기 및 목표

• 특정 통계 모델과 사전 분포를 규명함으로써 깊이 있는 앙상블을 근사 베이지안 방법으로 공식적으로 확립하는 것.
• 델타 분포를 초월한 사후 분포 근사 향상으로 깊이 있는 앙상블의 불확실성 정량화를 향상시키는 것.
• 학습 절차나 회귀 함수를 수정하지 않고도 지식 기반 불확실성을 증가시키는 후처리 방법을 개발하는 것.
• 향상된 근사가 더 잘 校정된 불확실성 추정치를 이끌어내는지, 특히 데이터가 부족한 상황에서 확인하는 것.

제안 방법

• 이 방법은 깊이 있는 앙상블을 네트워크 가중치의 국소 최대사후확률추정(MAP) 값 중심의 델타 분포 혼합으로 간주한다.
• 진짜 사후분포를 더 잘 근사하기 위해 델타 분포를 가우시안 분포로 대체함으로써 지식 기반 불확실성의 더 정확한 표현이 가능해진다.
• 가우시안 성분의 분산은 변분 추론을 사용하여 진짜 사후분포와 근사 사후분포 사이의 쿨백-라이블러 발산을 최소화함으로써 결정된다.
• 후처리 단계에서 ELBO(evidence lower bound)를 분석적으로 최대화하여 재학습을 피한다.
• 최종 레이어의 가중치만 랜덤 변수로 간주함으로써 사후분산의 해석적 계산이 가능해진다.
• 이 방법은 원래 깊이 있는 앙상블의 회귀 함수와 학습 과정을 유지하며, 경량 후처리 단계로 개선을 적용한다.

실험 결과

연구 질문

• RQ1 특정 통계 가정 하에 깊이 있는 앙상블이 근사 베이지안 추론 방법으로 공식적으로 해석될 수 있는가?
• RQ2 네트워크 가중치에 대해 델타 분포를 가우시안 근사로 대체할 경우, 깊이 있는 앙상블의 불확실성 정량화에 어떤 영향을 미치는가?
• RQ3 제안된 후처리 방법이 특히 훈련 데이터가 부족한 상황에서 더 신뢰할 수 있는 지식 기반 불확실성 추정치를 제공하는가?
• RQ4 어떤 상황에서 향상된 근사가 기존 깊이 있는 앙상블과 비교해 불확실성 추정치를 상당히 변화시키는가?

주요 결과

• 제안된 방법은 사후 근사에 유한 분산 성분을 추가함으로써 지식 기반 불확실성을 증가시켜 지식 기반 분산 성분을 크게 증가시킨다.
• 훈련 데이터가 적은 QSAR 수생 독성 및 요트 수압역학 데이터셋에서 지식 기반 커버리지가 20.4%에서 22.8%로 증가했으며, 총 커버리지는 약 95.3%로 잘 校정되어 있었다.
• 풍부한 데이터를 가진 연도 예측 MSD 데이터셋에서는 개선 효과가 미미했으며, 이는 데이터 크기가 증가함에 따라 가우시안 분산이 0으로 수렴한다는 이론적 기대와 일치한다.
• 첫 번째 데이터셋에서 지식 기반 대 대변 불확실성 비율이 0.093에서 0.094로 증가하여 지식 기반 불확실성의 명백한 상승을 나타낸다.
• 이 방법은 재학습 없이도 후처리를 통해 향상된 불확실성 추정치를 해석적으로 계산할 수 있다. 원래 앙상블을 수정하지 않고도 적용 가능하다.
• 이 확장은 단일 네트워크에도 적용 가능하며, 앙상블을 하나의 사후 근사로 간주함으로써 어떤 훈련된 네트워크에 대해서도 지식 기반 불확실성 추정이 가능해진다.