[논문 리뷰] The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions

Raj Agrawal, Jonathan H. Huggins외 2명|arXiv (Cornell University)|2019. 05. 16.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 고차원 데이터에서 쌍별 상호작용을 탐지하기 위한 확장 가능한 베이지안 방법인 커널 상호작용 기법(Kernel Interaction Trick)을 소개한다. 이 방법은 상호작용을 가우시안 프로세스를 통해 표현함으로써, MCMC 반복당 O(pN² + N³)의 시간 복잡도를 달성한다. 이는 난이도 높은 베이지안 추론에 비해 수개의 주기적 속도 향상을 이끌어내며, LASSO 기반 방법보다 유의미하게 유형 I 및 유형 II 오류를 줄이고, 희소성과 불확실성 정량화를 유지한다.

ABSTRACT

Discovering interaction effects on a response of interest is a fundamental problem faced in biology, medicine, economics, and many other scientific disciplines. In theory, Bayesian methods for discovering pairwise interactions enjoy many benefits such as coherent uncertainty quantification, the ability to incorporate background knowledge, and desirable shrinkage properties. In practice, however, Bayesian methods are often computationally intractable for even moderate-dimensional problems. Our key insight is that many hierarchical models of practical interest admit a particular Gaussian process (GP) representation; the GP allows us to capture the posterior with a vector of O(p) kernel hyper-parameters rather than O(p^2) interactions and main effects. With the implicit representation, we can run Markov chain Monte Carlo (MCMC) over model hyper-parameters in time and memory linear in p per iteration. We focus on sparsity-inducing models and show on datasets with a variety of covariate behaviors that our method: (1) reduces runtime by orders of magnitude over naive applications of MCMC, (2) provides lower Type I and Type II error relative to state-of-the-art LASSO-based approaches, and (3) offers improved computational scaling in high dimensions relative to existing Bayesian and LASSO-based approaches.

연구 동기 및 목표

• 고차원 설정에서 쌍별 상호작용 모델에 대한 베이지안 추론의 계산 불가능성을 해결하기 위해.
• 모델링에 필요한 O(p²) 비용을 줄이기 위해, O(p)개의 커널 하이퍼파rameter를 가진 가우시안 프로세스를 통해 상호작용을 표현하기 위해.
• 각 반복에서 p에 대해 선형 시간 및 메모리 복잡도를 갖는 하이퍼파rameter에 대한 효율적인 MCMC 샘플링을 가능하게 하기 위해.
• LASSO 기반 방법과 비교해 통계적 검정력 향상과 더불어 거짓 양성 및 거짓 음성 감소를 위해.
• 고차원 데이터에 스케일링 가능한 일반 목적의 희소 상호작용 탐지 프레임워크를 제공하면서도 불확실성 정량화를 유지하기 위해.

제안 방법

• 모든 쌍별 상호작용을 암묵적으로 인코딩하는 특수 커널을 사용한 가우시안 프로세스(GP)를 활용해 전체 상호작용 모델을 표현하기 위해.
• GP 커널을 사용해 전체 정밀도 행렬의 명시적 계산 및 역행렬 계산을 피함으로써, 시간 복잡도를 O(p²N²)에서 O(pN² + N³)로 감소시키기 위해.
• 모든 O(p²) 계수를 저장하거나 처리하지 않고도 선택된 주효과 및 상호작용에 대한 사후 요약 통계(평균 및 분산)를 계산하기 위한 커널 상호작용 기법을 개발하기 위해.
• 선택된 상호작용 및 주효과의 희소성을 유도하기 위해 GP 커널 하이퍼파rameter에 계층적 수축 사전분포를 적용하기 위해.
• O(p²)의 회귀 계수 대신 O(p)의 커널 하이퍼파rameter에 대해 MCMC를 수행하기 위해.
• 동일한 GP 기반 표현을 사용해 고차원의 다중 방향 상호작용으로 프레임워크를 확장하기 위해.

실험 결과

연구 질문

• RQ1 고차원 설정에서 쌍별 상호작용에 대한 베이지안 추론이 계산적으로 가능해질 수 있는가?
• RQ2 가우시안 프로세스 표현을 통해 사후 추론의 계산 비용을 O(p²)에서 O(p)의 하이퍼파ram터로 줄일 수 있는가?
• RQ3 제안된 방법이 최첨단 LASSO 기반 접근법보다 더 나은 오류 통제(유형 I 및 유형 II 오류 감소)를 달성하는가?
• RQ4 고차원 p와 큰 N 환경에서 효율적으로 스케일링되면서도 불확실성 정량화를 유지할 수 있는가?
• RQ5 커널 상호작용 기법이 모든 상호작용 항목을 명시적으로 저장하지 않고도 정확한 사후 계산을 가능하게 하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 상호작용 모델에 대한 난이도 높은 MCMC 적용 대비 실행 시간을 수개의 주기적으로 감소시킨다.
• 합성 데이터셋에서 SKIM은 PLASSO 및 HLASSO보다 낮은 유형 I 및 유형 II 오류율을 기록했으며, 빌딩 데이터셋에서 주효과 및 쌍별 효과의 3:0 정확한 선택을 달성했다.
• 노이즈 공변수를 추가한 Auto MPG 데이터셋에서 SKIM은 원래의 3개 주효과와 1개의 상호작용만 선택했으며, 거짓 양성 사례가 전혀 없었고, LASSO 기반 방법들은 78~99개의 가짜 상호작용을 선택했다.
• MCMC 반복당 p에 대해 선형 시간 복잡도를 유지함으로써, 고차원 설정에서도 확장 가능한 추론이 가능하다.
• 커널 상호작용 기법을 통해 모든 O(p²) 상호작용 항목을 명시적으로 계산하거나 저장하지 않고도 선택된 효과에 대한 정확한 사후 평균 및 분산 계산이 가능하다.
• 실험 결과, SKIM은 고차원 노이즈 환경에서 LASSO 기반 방법보다 정확성과 강건성 면에서 뛰어나며, 진짜 효과를 탐지하고 거짓 발견을 방지하는 데서 특히 뛰어난 성능을 보였다.