[논문 리뷰] Sparse Bayesian Structure Learning with Dependent Relevance Determination Priors

Anqi Wu, Mijung Park외 2명|arXiv (Cornell University)|2014. 12. 08.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 12

한 줄 요약

이 논문은 변환된 가우시안 프로세스를 사용하여 사전 분산 간의 의존성을 모델링하고, 구조적인 푸리에 기반 사전분포를 도입함으로써 영역 희소성(regionsparse) 회귀 가중치를 유도하는 계층적 베이지안 모델을 제안한다. 이 방법은 원래 도메인과 푸리에 도메인 양쪽에서 동시에 희소성을 촉진하며, 시뮬레이션 데이터와 뇌 영상 데이터에서 그룹 라소(group lasso)와 스무스 리levance 벡터 머신(smooth relevance vector machine)을 능가하는 성능을 보인다.

ABSTRACT

In many problem settings, parameter vectors are not merely sparse, but dependent in such a way that non-zero coefficients tend to cluster together. We refer to this form of dependency as region sparsity. Classical sparse regression methods, such as the lasso and automatic relevance determination (ARD), model parameters as independent a priori, and therefore do not exploit such dependencies. Here we introduce a hierarchical model for smooth, region-sparse weight vectors and tensors in a linear regression setting. Our approach represents a hierarchical extension of the relevance determination framework, where we add a transformed Gaussian process to model the dependencies between the prior variances of regression weights. We combine this with a structured model of the prior variances of Fourier coefficients, which eliminates unnecessary high frequencies. The resulting prior encourages weights to be region-sparse in two different bases simultaneously. We develop efficient approximate inference methods and show substantial improvements over comparable methods (e.g., group lasso and smooth RVM) for both simulated and real datasets from brain imaging.

연구 동기 및 목표

• 클래식한 희소 회귀 방법인 라소와 ARD가 독립적인 사전분포를 가정하고 비제로 계수의 군집화를 고려하지 못하는 한계를 해결하기 위해.
• 비제로 회귀 계수들이 공간적 또는 시간적으로 군집되는 영역 희소성(region sparsity)을 고차원 선형 회귀 설정에서 모델링하기 위해.
• 변수의 사전 분산 간의 의존성을 통해 계층적 사전분포 구조를 개발하여, 이를 통해 회귀 가중치의 사전 분산 간의 의존성을 표현하기 위해.
• 푸리에 계수에 구조적인 사전분포를 통합하여 고주파 성분을 억제하고 부드러움을 강제하기 위해.
• 효율적인 근사 추론을 가능하게 하고, 특히 뇌 영상 환경에서 실재 및 시뮬레이션 데이터 세트에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 비제로 계수 간의 의존성을 유도하기 위해 변환된 가우시안 프로세스로 제어되는 독립적 가우시안 사전분포를 갖는 계층적 베이지안 모델을 제안한다.
• 변환된 가우시안 프로세스를 사용하여 회귀 가중치의 사전 분산을 모델링함으로써, 비제로 계수의 부드럽고 군집된 패턴을 가능하게 한다.
• 분산 과정의 푸리에 계수에 구조적인 사전분포를 도입하여 불필요한 고주파 성분을 제거하고 부드러움을 강제한다.
• 분산 과정의 사전분포를 푸리에 기반 정규화와 조합하여 원래 도메인과 주파수 도메인 양쪽에서 영역 희소성을 유도한다.
• 효율적인 근사 후행분포 계산을 위해 변분 추론을 활용하여 고차원 설정에서도 확장 가능한 추론을 가능하게 한다.
• 계수 공간뿐 아니라 푸리에 도메인에서도 희소성을 촉진하는 공동 사전분포를 유도함으로써, 부드러움과 군집화를 향상시킨다.

실험 결과

연구 질문

• RQ1 계층적 베이지안 모델이 변환된 가우시안 프로세스를 통해 사전 분산 간의 의존성을 모델링함으로써 영역 희소성을 효과적으로 포착할 수 있는가?
• RQ2 사전 분산에 대해 변환된 가우시안 프로세스를 도입함으로써 독립적인 사전분포 가정에 비해 희소 회귀에서 성능이 향상되는가?
• RQ3 푸리에 계수에 구조적인 사전분포를 추가함으로써 시간/주파수 도메인과 공간 도메인에서의 부드러움과 희소성은 어느 정도 향상되는가?
• RQ4 실제 뇌 영상 데이터에서 그룹 라소와 스무스 RVM에 비해 예측 정확도와 희소성 구조 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 고차원 설정에서 계산 효율성을 유지하면서 더 나은 영역 희소 복원을 달성할 수 있는가?

주요 결과

• 제안된 방법은 시뮬레이션 데이터와 실제 뇌 영상 데이터 세트에서 모두 그룹 라소와 스무스 RVM에 비해 예측 성능에서 뚜렷한 향상을 보였다.
• 변환된 가우시안 프로세스를 통해 사전 분산 간의 의존성을 활용함으로써 모델은 성공적으로 영역 희소성 가중치 벡터를 유도하였다.
• 푸리에 계수에 구조적인 사전분포를 통합함으로써 고주파 성분이 효과적으로 억제되어 더 부드럽고 일관성 있는 비제로 계수 패턴을 생성하였다.
• 원래 도메인과 푸리에 도메인에서의 희소성 공동 모델링은 고차원 회귀에서 군집화되고 의미 있는 특징들을 더 잘 복원함을 보였다.
• 효율적인 변분 추론은 이론적 모델을 대규모 문제, 특히 수천 개의 특징을 가진 신경영상 데이터에까지 확장 가능한 적용을 가능하게 하였다.
• 실증 결과는 표준 희소 회귀 기법에 비해 이 방법이 비제로 계수의 공간적 또는 시간적 군집화를 더 잘 유지함을 보여주었다.