[논문 리뷰] Learning Global Pairwise Interactions with Bayesian Neural Networks

Tianyu Cui, Pekka Marttinen외 1명|arXiv (Cornell University)|2019. 01. 24.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 18

한 줄 요약

이 논문은 베이지안 신경망(BNNs)을 사용하여 글로벌 상호작용 효과를 추정하는 비모수적 확률적 방법인 베이지안 그룹 기대 헤시안(geometric expected Hessian, GEH)을 제안한다. 데이터 클러스터 내에서 국소 헤시안 기반 상호작용을 집계함으로써 GEH는 불확실성 정량화가 가능한 글로벌 해석 가능한 상호작용 탐지를 제공하며, 더 나은 BNN을 통해 성능 향상을 이룬다. 이는 비확률적 기준선을 능가하며 고차원 특성 간의 해석 가능한 상호작용을 탐지할 수 있다.

ABSTRACT

Estimating global pairwise interaction effects, i.e., the difference between the joint effect and the sum of marginal effects of two input features, with uncertainty properly quantified, is centrally important in science applications. We propose a non-parametric probabilistic method for detecting interaction effects of unknown form. First, the relationship between the features and the output is modelled using a Bayesian neural network, capable of representing complex interactions and principled uncertainty. Second, interaction effects and their uncertainty are estimated from the trained model. For the second step, we propose an intuitive global interaction measure: Bayesian Group Expected Hessian (GEH), which aggregates information of local interactions as captured by the Hessian. GEH provides a natural trade-off between type I and type II error and, moreover, comes with theoretical guarantees ensuring that the estimated interaction effects and their uncertainty can be improved by training a more accurate BNN. The method empirically outperforms available non-probabilistic alternatives on simulated and real-world data. Finally, we demonstrate its ability to detect interpretable interactions between higher-level features (at deeper layers of the neural network).

연구 동기 및 목표

• 복잡한 비선형 데이터에서 글로벌 쌍별 상호작용을 탐지하는 데 있어 기존 방법의 불확실성 정량화 부족 문제를 해결하기 위해.
• 사전에 상호작용 형태를 지정하지 않아도 되는 국소 상호작용 방법과 달리 글로벌 상호작용을 탐지할 수 있는 방법을 개발하기 위해.
• 딥 뉴럴 네트워크가 학습한 고차원 특성 간의 상호작용을 해석 가능하게 탐지할 수 있도록 하기 위해.
• 더 잘 校정된 베이지안 신경망을 사용할수록 상호작용 추정치가 향상됨을 이론적으로 보장하기 위해.
• 통계적 오류 통제와 해석 가능성의 중요성이 요구되는 과학적 탐사에 실용적이고 확장 가능한 접근을 제공하기 위해.

제안 방법

• 복잡한 상호작용과 불확실성 정량화를 유연하게 표현할 수 있도록, 입력과 출력 간의 관계를 베이지안 신경망(BNN)으로 모델링한다.
• BNN의 예측 함수의 헤시안 행렬을 사용해 각 데이터 포인트에서의 국소 상호작용 효과를 계산하며, 이는 제2차 상호작용을 캡처한다.
• 그룹 기반 평균화 방식을 사용해 데이터 클러스터 간 국소 헤시안 기반 상호작용 점수를 집계하여 글로벌 쌍별 상호작용을 추정한다.
• L2 거리 기반 클러스터링을 적용해 입력 공간을 영역으로 분할함으로써 국소 상호작용을 글로벌 측도로 안정적으로 집계한다.
• 베이지안 그룹 기대 헤시안(GEH)의 사후 분포를 활용해 상호작용 추정치의 불확실성을 정량화하고, 가설 검정을 가능하게 한다.
• 딥 네트워크의 계층적 구조를 활용해 고차원 특성 간의 상호작용을 탐지하고 해석하며, 활성도 최적화를 통해 의미 있는 해석을 수행한다.

실험 결과

연구 질문

• RQ1 특정 기능 형태를 가정하지 않고도 비모수적이고 확률적인 방법이 글로벌 쌍별 상호작용을 탐지할 수 있는가?
• RQ2 상호작용 추정치의 불확실성을 적절히 정량화하여 통계적 가설 검정이 가능하게 할 수 있는가?
• RQ3 더 정확한 베이지안 신경망을 훈련시킴으로써 상호작용 탐지 성능을 향상시킬 수 있는가?
• RQ4 딥 뉴럴 네트워크가 학습한 고차원 특성 간의 상호작용을 해석 가능하게 탐지하고 의미 있게 해석할 수 있는가?
• RQ5 제안된 방법이 기존 비확률적 상호작용 탐지 기법에 비해 정확도와 견고성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 베이지안 GEH 방법은 시뮬레이션 및 실세계 데이터셋에서 비확률적 최첨단 기준선을 능가하여 글로벌 쌍별 상호작용 탐지 성능을 향상시켰다.
• 상호작용 효과에 대한 불확실성 정량화를 제공하여 클러스터 수 조정을 통해 유형 I 및 유형 II 오류 간 자연스러운 트레이드오���을 가능하게 했다.
• 더 잘 校정된 베이지안 신경망을 사용할수록 GEH 추정치가 향상되며, 이는 기존 딥 러닝 기반 상호작용 탐지 방법에서는 보장되지 않는 이론적 이점이다.
• MNIST에서 '왼쪽에 7이 있고 오른쪽에 0이 있는' 등의 해석 가능한 상호작용을 성공적으로 탐지하여 인간의 직관과 일치시켰다.
• MNIST 실험에서 각 작업에서 가장 강한 상호작용은 정확히 양성 클래스와 일치했으며, 활성도 최적화를 통해 올바른 해석이 확인되었다 (예: (7,0) 및 (5,3)).
• L2 거리 기반 클러스터링과 히우리스틱 클러스터 수 선택이 일관되게 잘 작동했지만, 상호작용을 고려한 대체 거리 척도는 성능 향상에 기여할 수 있다.