[논문 리뷰] Group Sparse Priors for Covariance Estimation

Benjamin M. Marlin, Mark Schmidt외 1명|arXiv (Cornell University)|2012. 05. 09.

Statistical Methods and Inference참고 문헌 11인용 수 26

한 줄 요약

이 논문은 정규 그래픽 모델에서 공분산 추정을 위해 군집 희소 사전을 사용하는 계층적 베이지안 모델을 제안하며, 정밀 행렬의 블록 구조적 희소성 자동 탐지가 가능하다. 분할 함수에 대한 상한을 고려한 변분 추론을 유도함으로써, 운동 캡처 및 금융 데이터에서 고정 블록 구조나 기준 방법보다 우수한 성능을 보이며, 알려지지 않은 군집 구조를 보다 효과적으로 학습한다.

ABSTRACT

Recently it has become popular to learn sparse Gaussian graphical models (GGMs) by imposing l1 or group l1,2 penalties on the elements of the precision matrix. Thispenalized likelihood approach results in a tractable convex optimization problem. In this paper, we reinterpret these results as performing MAP estimation under a novel prior which we call the group l1 and l1,2 positivedefinite matrix distributions. This enables us to build a hierarchical model in which the l1 regularization terms vary depending on which group the entries are assigned to, which in turn allows us to learn block structured sparse GGMs with unknown group assignments. Exact inference in this hierarchical model is intractable, due to the need to compute the normalization constant of these matrix distributions. However, we derive upper bounds on the partition functions, which lets us use fast variational inference (optimizing a lower bound on the joint posterior). We show that on two real world data sets (motion capture and financial data), our method which infers the block structure outperforms a method that uses a fixed block structure, which in turn outperforms baseline methods that ignore block structure.

연구 동기 및 목표

• 고차원 데이터에서 알려지지 않은 블록 구조에 적응할 수 있는 융통성 있는 베이지안 프레임워크를 개발하는 것.
• 정밀 행렬 추정에서 고정 블록 구조나 균일한 희소성의 한계를 해결하는 것.
• 계층적 사전을 통해 정밀 행렬의 항목에 대한 군집 할당을 자동으로 학습하는 것.
• 제안된 행렬 사전의 정규화 상수가 비가역적이므로, 계산이 가능한 추론 방법을 제공하는 것.

제안 방법

• 정밀 행렬에 대한 새로운 군집 l1 및 l1,2 양의 정부호 행렬 분포를 사전으로 도입한다.
• l1 및 군집 l1,2 펜alties를 포함한 최대우도 추정을 이러한 사전 하에서의 MAP 추정으로 재해석한다.
• 정규화 강도가 각 군집마다 다를 수 있도록 계층적 모델을 개발하여, 알려지지 않은 군집 할당을 학습할 수 있도록 한다.
• 행렬 사전의 비가역적인 분할 함수에 상한을 도출하여 변분 추론을 가능하게 한다.
• 공분산 후행 확률의 하한을 최적화하기 위해 변분 추론을 사용하여 후행 확률 계산을 가능하게 한다.
• 제안된 방법을 사용해 사전에 블록 구조에 대한 지식 없이 데이터로부터 블록 구조적 희소 정규 그래픽 모델을 학습한다.

실험 결과

연구 질문

• RQ1 고정 블록 구조보다 계층적 사전 모델이 알려지지 않은 정밀 행렬의 블록 구조를 더 효과적으로 학습할 수 있는가?
• RQ2 블록 구조가 알려지지 않은 상황에서 군집 희소 사전의 성능은 표준 l1-패널티 방법과 어떻게 비교되는가?
• RQ3 이 맥락에서 분할 함수에 대한 상한을 사용한 변분 추론의 영향은 무엇인가?
• RQ4 제안된 방법은 고차원 공분산 추정에서 의미 있는 군집을 자동으로 탐지할 수 있는가?
• RQ5 군집 구조를 학습할 수 있는 능력이 실제 세계 데이터에서 모델 적합도와 예측 성능을 향상시키는가?

주요 결과

• 제안된 방법은 데이터로부터 블록 구조를 학습함으로써 운동 캡처 및 금융 데이터셋에서 고정 블록 구조를 가진 방법보다 우수한 성능을 보였다.
• 블록 구조를 忽略하는 방법들은 제안된 접근 방식에 비해 열등했으며, 군집 할당을 학습하는 것이 유의미한 이점을 제공한다는 것을 입증했다.
• 분할 함수에 대한 상한을 사용한 변분 추론은 비가역적인 정규화 상수에도 불구하고 효과적인 후행 확률 근사가 가능하게 했다.
• 학습된 구조에 기반해 각 군집별로 정규화 강도를 조정함으로써, 더 정확한 공분산 추정을 달성했다.
• 실험 결과, 계층적 군집 희소 사전이 더 나은 모델 적합도와 데이터 구조와 일치하는 희소 패턴을 도출함을 보여주었다.