[논문 리뷰] Self-Averaging Expectation Propagation

Burak Çakmak, Manfred Opper외 2명|VBN Forskningsportal (Aalborg Universitet)|2016. 08. 23.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 7

한 줄 요약

이 논문은 랜덤 행렬 이론과 자유 확률론을 활용하여 대규모 베이지안 추론에서 비용이 많이 드는 행렬 역행렬 계산을 제거하는 자기 평균화 기대 전파(EP) 방법을 제안한다. i.i.d. 또는 구조적 랜덤 측정 행렬을 가정함으로써, 한계 고유값 분포의 R- 및 S-변환을 사용하여 캐비티 분산을 계산함으로써, 반복적인 역행렬 계산 없이도 효율적이고 사전에 계산된 근사치를 도출할 수 있다. 이는 표준 i.i.d. AMP 프레임워크를 초월하여 높은 정확도를 유지하면서도 비선형 압축 센싱에 일반화 가능하다.

ABSTRACT

We investigate the problem of approximate Bayesian inference for a general class of observation models by means of the expectation propagation (EP) framework for large systems under some statistical assumptions. Our approach tries to overcome the numerical bottleneck of EP caused by the inversion of large matrices. Assuming that the measurement matrices are realizations of specific types of ensembles we use the concept of freeness from random matrix theory to show that the EP cavity variances exhibit an asymptotic self-averaging property. They can be pre-computed using specific generating functions, i.e. the R- and/or S-transforms in free probability, which do not require matrix inversions. Our approach extends the framework of (generalized) approximate message passing -- assumes zero-mean iid entries of the measurement matrix -- to a general class of random matrix ensembles. The generalization is via a simple formulation of the R- and/or S-transforms of the limiting eigenvalue distribution of the Gramian of the measurement matrix. We demonstrate the performance of our approach on a signal recovery problem of nonlinear compressed sensing and compare it with that of EP.

연구 동기 및 목표

• 반복적인 행렬 역행렬 계산으로 인해 발생하는 기대 전파(EP)의 계산 병목 현상을 해결하기 위해.
• 일반화된 근사 메시지 전파(GAMP) 프레임워크를 i.i.d. 측정 행렬을 초월하여 일반적인 랜덤 행렬 집합으로 확장하기 위해.
• 측정 행렬의 생성 함수를 활용하여 사전에 캐비티 분산을 계산하는 확장 가능한 EP 변종을 개발하기 위해.
• 대규모 균형 잡힌 랜덤 행렬의 점근적 극한에서 EP 캐비티 분산이 자기 평균화 성질을 가지게 되는 조건을 규명하기 위해.
• 다양한 유형의 랜덤 행렬을 사용한 비선형 압축 센싱 문제에서 방법을 검증하기 위해.

제안 방법

• 랜덤 행렬 이론에서의 점근적 자유성 개념을 사용하여 대규모 시스템에서 EP 캐비티 분산의 점근적 행동을 분석한다.
• 측정 행렬의 그람 행렬의 한계 고유값 분포에 대한 R- 및 S-변환을 적용하여, 행렬 역행렬 없이도 캐비티 분산을 계산한다.
• 반복적인 행렬 역행렬 계산 대신 생성 함수를 사용하여 EP 업데이트의 固定点 방정식을 유도한다.
• 모든 잠재 변수가 동일하게 기여하는 '민주적 순서'를 가정함으로써 중심극한정리 기반 근사치를 가능하게 한다.
• 기본 EP에서 반복적인 행렬 역행렬 계산을, 측정 행렬의 스펙트럼 성질에서 유도된 사전에 계산된 스칼라 값으로 대체한다.
• 캐비티 분산이 대규모-N 극한에서 특정 실현값에 의존하지 않고 결정론적 값으로 수렴하는 자기 평균화 근사치를 적용한다.

실험 결과

연구 질문

• RQ1 i.i.d. 요소를 초월하는 일반적인 랜덤 행렬 집합에서 EP의 캐비티 분산은 자기 평균화 성질을 가지는가?
• RQ2 그람 행렬의 고유값 분포에 대한 R- 및 S-변환은 EP에서 행렬 역행렬을 얼마나 잘 대체할 수 있는가?
• RQ3 비선형 압축 센싱에서 자기 평균화 EP 방법은 기존 EP에 비해 어떻게 성능을 발휘하는가?
• RQ4 캐비티 분산의 점근적 근사치가 정확하고 안정해지기 위한 조건은 무엇인가?
• RQ5 정확도와 확장성을 유지하면서도, 방법을 구조적 랜덤 행렬로 일반화할 수 있는가?

주요 결과

• 측정 행렬이 특정 랜덤 집합을 따를 경우, 대규모 시스템 극한에서 EP의 캐비티 분산은 자기 평균화 성질을 가지며, 이는 행렬 역행렬 계산 없이 사전 계산이 가능하다.
• 그람 행렬의 한계 고유값 분포에 대한 R- 및 S-변환은 캐비티 분산을 완전히 결정하며, 반복적인 행렬 연산을 대체한다.
• 비선형 압축 센싱에서 이 방법은 표준 EP와 유사한 성능을 달성하면서도 계산 비용을 크게 감소시킨다.
• 스펙트럼 특성화를 통해 이 방법은 GAMP을 i.i.d. 행렬을 초월하여 더 넓은 범주인 랜덤 행렬 집합으로 일반화한다.
• '민주적 순서' 가정 하에서 자기 평균화 성질이 유지되며, 이는 어떤 잠재 변수도 시스템을 지배하지 않는다는 것을 의미한다.
• 수치 결과는 자기 평균화 EP 방법이 난이도 높은 EP보다 수렴 속도가 빠르고 대규모 α = N/K 에서 더 잘 스케일링됨을 보여준다.