[논문 리뷰] Bayesian inference for spatio-temporal spike-and-slab priors

Michael Riis Andersen, Aki Vehtari외 2명|arXiv (Cornell University)|2015. 09. 15.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 13

한 줄 요약

이 논문은 스팀라-슬럽 확률에 대한 변환된 가우시안 프로세스를 사용하여 공간과 시간 모두에서 상관관계 있는 희박성을 모델링하는 베이지안 공간-시간 스파크-슬럽 사전을 제안한다. 기대치 기반 추론을 사용하여, 계산 효율성이 세 가지 근사 기법을 통해 대규모 응용에 적합하게 향상된, 부족한 선형 역문제에서 희박한 신호를 정확하게 복원할 수 있다.

ABSTRACT

In this work, we address the problem of solving a series of underdetermined linear inverse problems subject to a sparsity constraint. We generalize the spike-and-slab prior distribution to encode a priori correlation of the support of the solution in both space and time by imposing a transformed Gaussian process on the spike-and-slab probabilities. An expectation propagation (EP) algorithm for posterior inference under the proposed model is derived. For large scale problems, the standard EP algorithm can be prohibitively slow. We therefore introduce three different approximation schemes to reduce the computational complexity. Finally, we demonstrate the proposed model using numerical experiments based on both synthetic and real data sets.

연구 동기 및 목표

• 해당 해가 희박하고, 지오그래픽 및 시간적 구조를 가진 지지부를 가지는 부족한 선형 역문제를 다루기 위해.
• 잠재 가우시안 프로세스를 통해 지지부의 공간-시간적 매끄러움을 코딩하는 계층적 모델을 통한 스파크-슬럽 사전의 확장.
• 제안된 모델 하에서 사후 분포 계산을 위한 기대치 기반 추론(EP)을 사용한 효율적인 근사 추론 알고리즘 개발.
• D와 T가 큰 경우의 EP 계산 복잡도를 줄이기 위해 세 가지 새로운 근사 기법 도입.
• 동적 압축 센싱 및 뇌전도파원 국정과 같은 실제 데이터와 시뮬레이션 데이터를 통한 방법의 효과성 입증.

제안 방법

• 신호 행렬 X ∈ ℝ^{D×T}의 희박성 패턴을 스파크-슬럽 사전으로 모델링하며, 포함 확률은 공간과 시간에 대한 잠재 가우시안 프로세스에 의해 결정된다.
• 잠재 GP 값에서 스파크-슬럽 포함 확률로 변환하기 위해 로지스틱 시그모이드 함수 φ(γ_i)를 사용한 변환된 가우시안 프로세스 도입.
• 기대치 기반 추론(EP)을 사용하여 희박한 신호 및 하이퍼파rameter에 대한 비가역적인 사후 분포를 근사한다.
• 모멘트 매칭 및 인수 분해를 단순화하여, 특히 D와 T가 클 경우의 EP 계산 비용을 줄이기 위한 세 가지 근사 기법 제안.
• 이중 관측을 위한 프로비트 가능도를 사용하여 모델을 이진 관측으로 확장하여, 희박한 선형 분류에의 응용 가능.
• 최대우도 추정에서 수렴 문제를 방지하기 위해 하이퍼파rameter ν₀ 및 κ²₀에 약한 정보 기반 사전분포를 도입.

실험 결과

연구 질문

• RQ1 공간-시간적 구조를 가진 계층적 스파크-슬럽 사전은 부족한 선형 역문제에서 복원 성능을 향상시킬 수 있는가?
• RQ2 잠재 가우시안 프로세스 사전은 공간과 시간에 걸쳐 매끄러운 희박성 패턴을 효과적으로 모델링할 수 있는가?
• RQ3 제안된 모델 하에서 정확한 EP 추론의 계산적 병목 현상은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 사전에 공간-시간 상관관계를 포함함으로써, 기존의 희박성 촉진 방법에 비해 더 나은 단계 전이 행동을 보일 수 있는가?
• RQ5 하이퍼파rameter의 최대우도 추정은 얼마나 강인한가? 특수한 경우에서 수렴을 안정화시키기 위해 어떤 사전분포가 유용한가?

주요 결과

• 제안된 공간-시간 스파크-슬럽 사전은 구조적 희박성을 효과적으로 모델링하여, 시뮬레이션 및 실제 데이터 모두에서 신호 복원 성능을 향상시킨다.
• 기대치 기반 추론은 고차원 설정에서도 정확한 사후 근사 분포를 제공한다.
• 제안된 세 가지 근사 기법은 대규모 문제에서 계산 비용을 크게 감소시키면서도 추론 정확도를 유지한다.
• 진짜 지지부가 연속적일 경우, 우도 표면의 고산으로 인해 하이퍼파rameter ν₀ 및 κ²₀의 최대우도 학습이 발산할 수 있다.
• κ²₀에 반-t 또는 로그정규 분포와 같은 약한 정보 기반 사전분포를 적용하면 최적화가 잘 정의되고 수렴이 안정해진다.
• 제안된 모델을 사용한 사후 추론은 낮은 신호 대 잡음 비율에서도 시뮬레이션 실험에서 진짜 지지부를 성공적으로 복원하며, 구조가 없는 사전보다 뛰어난 성능을 보인다.