[논문 리뷰] Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon

Jeremiah Zhe Liu|arXiv (Cornell University)|2019. 12. 03.

Fault Detection and Control Systems참고 문헌 50인용 수 4

한 줄 요약

이 논문은 고차원 변수 선택에 대해 엄밀한 불확실성 정량화를 제공하는 딥 베이지안 신경망(BNN) 방법을 제안한다. 기울기 기반 변수 중요도 측정치의 사후 신뢰구간을 활용함으로써, 변수 효과의 정확한 학습과 타당한 빈도주의 커버리지(Bernstein-von Mises 현상)를 동시에 달성한다. 기존 기법들이 차원의 극복 문제와 다중 비교 문제로 인해 고차원 환경에서 실패하는 데 비해, 본 방법은 그에 비해 뛰어난 성능을 발휘한다.

ABSTRACT

This work develops rigorous theoretical basis for the fact that deep Bayesian neural network (BNN) is an effective tool for high-dimensional variable selection with rigorous uncertainty quantification. We develop new Bayesian non-parametric theorems to show that a properly configured deep BNN (1) learns the variable importance effectively in high dimensions, and its learning rate can sometimes "break" the curse of dimensionality. (2) BNN's uncertainty quantification for variable importance is rigorous, in the sense that its 95% credible intervals for variable importance indeed covers the truth 95% of the time (i.e., the Bernstein-von Mises (BvM) phenomenon). The theoretical results suggest a simple variable selection algorithm based on the BNN's credible intervals. Extensive simulation confirms the theoretical findings and shows that the proposed algorithm outperforms existing classic and neural-network-based variable selection methods, particularly in high dimensions.

연구 동기 및 목표

• 고차원 변수 선택에서 차원의 극복 문제와 다중 비교 문제의 이중적 과제를 해결하기 위해.
• 딥 BNN이 고차원에서 변수 중요도를 정확히 학습하는 데 있어 이론적 기반을 구축하기 위해.
• BNN이 사후 신뢰구간을 통해 校정된 불확실성 정량화를 제공함을 검증하기 위해.
• 기울기 기반 중요도 측정치의 사후 신뢰구간에 기반한 실용적인 변수 선택 알고리즘을 개발하기 위해.
• 기존의 고전적 및 신경망 기반 변수 선택 기법들과 비교하여, 고차원 환경에서 본 방법의 뛰어난 성능을 입증하기 위해.

제안 방법

• 각 입력 특성에 대해 변수 중요도 측정치로 제곱 적분 기울기 노름 $\psi_p(f) = \|\partial_{x_p}f\|_n^2$ 을 사용한다.
• 딥 신경망에 대해 베이지안 추론을 적용하여 모든 $\psi_p(f)$ 에 대한 결합 사후분포를 확보함으로써 동시에 불확실성 정량화를 가능하게 한다.
• 모든 특성에 대해 변수 중요도에 대한 $(1-\alpha)$-수준 동시 신뢰구간을 계산하기 위해 MCMC 샘플링을 활용한다.
• 변수 선택 규칙을 제안: 신뢰구간이 0을 포함하지 않으면 그 변수를 포함한다.
• 사후 농도와 $\psi_p(f)$ 의 점근적 정규성을 분석하기 위해 새로운 베이지안 비모수 정리들을 도입한다.
• 사후 분포가 $\psi_p(f)$ 에 대해 정규분포로 수렴할 조건을 유도함으로써 타당한 신뢰구간을 보장한다.

실험 결과

연구 질문

• RQ1 딥 BNN은 진정한 회귀 함수 $f_0$ 를 학습하는 속도와 비슷하거나 더 빠른 속도로 변수 중요도 $\psi_p(f)$ 를 학습할 수 있는가?
• RQ2 변수 중요도 $\psi_p(f)$ 의 사후 분포가 Bernstein-von Mises(BvM) 현상(즉, 95% 신뢰구간이 진정한 $\psi_p(f_0)$ 를 95% 빈도로 포함)을 만족하는가?
• RQ3 고차원 환경에서 다중 비교 상황에서도 BNN 기반 변수 선택 방법이 타당한 제1종 오류 통제를 유지할 수 있는가?
• RQ4 BNN이 변수 중요도 학습 속도에서 차원의 극복 문제를 어떻게 극복하는가? 즉, 입력 차원 $P$ 에 대한 지수적 의존성을 피할 수 있는 조건은 무엇인가?
• RQ5 고차원 비선형 회귀 환경에서 BNN 기반 방법이 LASSO, knockoffs 및 기타 신경망 기반 변수 선택 기법들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 딥 BNN은 진정한 회귀 함수 $f_0$ 를 학습하는 속도와 비슷하거나 더 빠른 속도로 변수 중요도 $\psi_p(f)$ 를 학습한다. 이는 정리 1에 의해 엄밀히 기술된다.
• 일부 상황에서는 변수 중요도 학습 속도가 차원 $P$ 에 대해 지수적 의존성을 가지지 않아, 실제로 차원의 극복 문제를 극복함을 보여주는 제1정리에서 밝혀졌다.
• 변수 중요도 $\psi_p(f)$ 의 사후 분포는 Bernstein-von Mises 현상(즉, 95% 신뢰구간이 진정한 $\psi_p(f_0)$ 를 95% 빈도로 포함)을 만족함을 정리 2 및 3에서 증명하였다.
• 신뢰구간 기반으로 제안된 방법은 LASSO, knockoffs 및 기타 신경망 기반 방법을 포함한 기존 접근법들보다 뛰어난 성능을 보이며, 특히 고차원 비선형 설정에서 두각을 나타낸다.
• 시뮬레이션 결과는 BNN이 $f^*$ 의 예측을 학습하는 것보다 변수 중요도 $\psi_p(f)$ 를 훨씬 더 빠르게 학습함을 보여주며, 중요도 추정의 높은 효율성을 시사한다.
• 희소성 유도 정규화가 필요 없이도 엄밀한 불확실성 정량화를 달성함으로써, 모델이 잘 지정되어 있을 경우 모델 기반의 신뢰구간의 강력함을 입증한다.