[논문 리뷰] Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior

Yutian Chen, Max Welling|arXiv (Cornell University)|2012. 06. 05.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 6

한 줄 요약

이 논문은 스파이크 앤 슬래브 사전분포를 사용하여 마르코프 무작위장(MRF) 구조 학습을 위한 완전 베이지안 접근법을 제안한다. 이 방법은 초모수 조정 없이 자동으로 희박성 유도가 가능하며, 랭지에빈 역동성과 가역적 이동 MCMC를 조합하여 구조 및 매개변수 추정이 매우 안정적이고 예측 정확도가 높다. 이는 소규모 데이터셋에서도 L1-정규화 방법보다 우수한 성능을 보인다.

ABSTRACT

In recent years a number of methods have been developed for automatically learning the (sparse) connectivity structure of Markov Random Fields. These methods are mostly based on L1-regularized optimization which has a number of disadvantages such as the inability to assess model uncertainty and expensive cross-validation to find the optimal regularization parameter. Moreover, the model's predictive performance may degrade dramatically with a suboptimal value of the regularization parameter (which is sometimes desirable to induce sparseness). We propose a fully Bayesian approach based on a "spike and slab" prior (similar to L0 regularization) that does not suffer from these shortcomings. We develop an approximate MCMC method combining Langevin dynamics and reversible jump MCMC to conduct inference in this model. Experiments show that the proposed model learns a good combination of the structure and parameter values without the need for separate hyper-parameter tuning. Moreover, the model's predictive performance is much more robust than L1-based methods with hyper-parameter settings that induce highly sparse model structures.

연구 동기 및 목표

• L1-정규화된 MRF 구조 학습의 한계, 즉 정규화 강도에 대한 민감성과 불확실성 측정의 부재를 해결하기 위해.
• 자기 희박성 선택과 동시에 구조 및 매개변수에 대한 공동 추론이 가능한 완전 베이지안 프레임워크를 개발하기 위해.
• MRF의 분할 함수로 인해 MCMC가 계산적으로 비가역적인 문제를 해결하기 위해 근사 추론 방법을 설계하기 위해.
• 스파이크 앤 슬래브 사전분포가 L1 기반 방법보다 과적합 및 과소적합에 대해 더 강건한가를 입증하기 위해.
• 교차검증 없이도 자동으로 모델 선택이 가능한, 계층적 사전분포를 통해 희박성 수준을 학습하기 위해.

제안 방법

• 모든 MRF 간선 매개변수에 스파이크 앤 슬래브 사전분포를 적용하여 L0 정규화에 해당하는 희박성 유도를 수행하며, L1이 아닌 대체한다.
• 고차원 매개변수 공간에서 혼합을 향상시키기 위해 고정된 구조 내에서 매개변수 갱신을 위한 수정된 랭지에빈 샘플러를 사용한다.
• 다양한 MRF 구조 간의 이동을 가능하게 하기 위해 가역적 이동 MCMC를 통합하여 차원이 다른 이동을 허용한다.
• 스파이크 앤 슬래브 확률 $p_0$에 계층적 사전분포를 구현하여 수동 조정 없이도 희박성 수준을 자동으로 학습할 수 있도록 한다.
• 랭지에빈 역동성과 가역적 이동 MCMC를 조합하여, 동시에 구조 및 매개변수에 대한 근사 베이지안 추론을 수행한다.
• 정확한 MCMC가 필요 없도록 MRF의 비가역적 분할 함수를 다루기 위해 근사 추론을 구현한다.

실험 결과

연구 질문

• RQ1 스파이크 앤 슬래브 사전분포를 사용한 완전 베이지안 MRF 구조 학습 방법이 L1-정규화 방법보다 예측 성능과 강건성 면에서 뛰어나게 되는가?
• RQ2 제안된 MCMC 방법이 지수적으로 큰 MRF 구조 공간을 효과적으로 탐색하면서도 정확한 사후분포 근사를 유지하는가?
• RQ3 계층적 사전분포를 통해 $p_0$가 교차검증 없이도 최적의 희박성 수준을 자동으로 학습할 수 있는가?
• RQ4 소규모 데이터셋에서 베이지안 모델은 L1 기반 방법에 비해 구조 복구 및 예측 정확도 면에서 어떻게 성능을 내는가?
• RQ5 스파이크 앤 슬래브 사전분포가 L1 정규화에 비해 MRF에서 과적합과 과소적합을 얼마나 줄이는가?

주요 결과

• 계층적 $p_0$ 사전분포를 가진 베이지안 모델은 성능 플롯의 오른쪽 상단 근처에서 F1 점수와 CLL 값을 기록하여 강력한 동시에 간선 탐지와 매개변수 학습을 보였다.
• 시뮬레이션 데이터에서 베이지안 방법은 동일한 희박성 수준에서 진짜 희박성 수준에 매우 가까이 맞추었고, L1 기반 방법은 그 수준에서 크게 과소적합되었다.
• MNIST 데이터셋에서, 100장 및 1000장의 훈련 이미지 모두에서 베이지안 방법은 평균 CLL 면에서 L1 기반 방법을 앞섰으며, 특히 희박 및 고밀도 모델 영역에서 두드러진 성능을 보였다.
• 계산 속도가 느리지만, 베이지안 방법은 초모수 조정이 필요 없었고, L1 방법이 최적의 정규화 강도를 얻기 위해 정교한 교차검증이 필요한 것과 달리 과소적합 및 과적합에 대해 강건하였다.
• 베이지안 모델에서의 길리스 샘플링은 고정된 희박성 수준에서 L1 기반 모델보다 더 질적으로 우수한 이미지 샘플을 생성하였다.
• L1 방법이 최적 성능을 내기 위해 정교한 교차검증이 필요한 것과 달리, 이 방법의 예측 성능는 초모수 선택에 거의 민감하지 않았다.