[논문 리뷰] A comment on the "A unified Bayesian inference framework for generalized linear models"

Jiang Zhu|arXiv (Cornell University)|2019. 04. 09.

Gaussian Processes and Bayesian Inference참고 문헌 5인용 수 11

한 줄 요약

이 논문은 일반선형모형(GLM)에서 합-곱(GAMP)과 최대-합(GAMP) 근사 메시지 전달 간의 관계를 명확히 하여, 표준선형모형(SLM)과 MMSE 또는 MAP 추정 모듈을 조합한 프레임워크 아래에서 둘을 통합할 수 있음을 보여준다. 핵심 통찰은 최대-합 GAMP의 출력 함수를 라플라스 근사로 재구성함으로써 합-곱 GAMP의 구조와 일치시킬 수 있으며, 이는 서로 다른 추정 목표(MAP 대비 MMSE)에도 불구하고 동일한 기반 메커니즘을 공유하고 있음을 드러낸다.

ABSTRACT

The recent work `A unified Bayesian inference framework for generalized linear models' \cite{meng1} shows that the GLM can be solved via iterating between the standard linear module (SLM) (running with standard Bayesian algorithm) and the minimum mean squared error (MMSE) module. The proposed framework utilizes expectation propagation and corresponds to the sum-product version \cite{Rangan1}. While in \cite{Rangan1}, a max-sum GAMP is also proposed. What is their intrinsic relationship? This comment aims to answer this.

연구 동기 및 목표

• 일반선형모형에서 합-곱 GAMP(MMSE용)과 최대-합 GAMP(MAP용) 간의 내재적 관계를 명확히 하는 것.
• 두 프레임워크가 모두 표준선형모형(SLM)과 비선형 추정 모듈(MMSE 또는 MAP)으로 분해될 수 있음을 보여주는 것.
• 최대-합 GAMP의 출력 함수가 라플라스 근사를 통해 합-곱 GAMP의 형태와 일치하도록 재구성될 수 있음을 보여주는 것.
• 기대치 전파(EP)가 두 프레임워크의 기반을 이루며 통합된 추론 메커니즘을 가능하게 한다는 것을 확립하는 것.

제안 방법

• MAP 추정에서 사후 분산을 근사하기 위해 라플라스 근사를 사용하여 합-곱 GAMP의 MMSE 분산 계산과 연결한다.
• MAP 추정치와 로그우도의 이阶도함수를 이용해 최대-합 GAMP의 출력 스칼라 추정 함수를 유도한다.
• 최대-합 GAMP의 출력 함수 도함수를 합-곱 GAMP에서 사용되는 형태로 재구성하여 구조적 동치성을 보여준다.
• SLM와 비선형 추정 모듈 간 메시지를 업데이트하기 위해 기대치 전파(EP)를 적용하여 GLM에서 반복적 추론을 가능하게 한다.
• 동일한 AWGN 채널 모델 하에서 합-곱 GAMP와 최대-합 GAMP의 출력 함수를 비교하여, EP를 통해 표현할 경우 동일한 함수 형태를 가짐을 보여준다.
• 두 프레임워크가 모두 SLM와 MMSE 또는 MAP 모듈의 연쇄 구조로 표현될 수 있으며, EP가 메시지 업데이트를 담당함을 보여준다.

실험 결과

연구 질문

• RQ1 후행 모멘트의 관점에서 합-곱 GAMP와 최대-합 GAMP의 출력 함수는 어떻게 관련되어 있는가?
• RQ2 라플라스 근사를 통해 최대-합 GAMP 프레임워크를 합-곱 GAMP의 수학적 구조와 일치하도록 재구성할 수 있는가?
• RQ3 기대치 전파(EP)는 GLM에서 MMSE와 MAP 추정의 추론 메커니즘을 통합하는 데 어떤 역할을 하는가?
• RQ4 합-곱 GAMP와 최대-합 GAMP는 서로 다른 추정 목표를 가짐에도 불구하고 AWGN 채널 설정에서는 왜 동일한 출력 함수를 생성하는가?
• RQ5 라플라스 근사는 메시지 전달 알고리즘 맥락에서 MAP와 MMSE 추정 간 격차를 어떻게 메워주는가?

주요 결과

• 최대-합 GAMP의 출력 함수 $ g_{\rm out} $ 는 합-곱 GAMP의 출력 함수와 구조적으로 동일하며, 둘 다 평균 추정치와 사전 평균의 차이에 의존한다.
• 최대-합 GAMP의 출력 함수 도함수 $ -g_{\rm out}^\prime $ 는 $ (\tau_p - {\rm var}_{\rm MAP}(z|\hat{p},y))/\tau_p^2 $ 로 재기록될 수 있으며, 이는 합-곱 GAMP에서 사용되는 형태와 일치한다.
• 라플라스 근사는 MAP 기반 분산 추정을 합-곱 GAMP의 MMSE 분산과 동치인 형태로 변환할 수 있도록 한다.
• 합-곱 GAMP와 최대-합 GAMP는 모두 표준선형모형(SLM)과 비선형 추정 모듈(MMSE 또는 MAP)의 조합으로 분해될 수 있으며, EP가 메시지 업데이트를 담당한다.
• AWGN 채널에서 EP를 적용할 경우, 두 GAMP 변종의 출력 함수는 동일한 표현식으로 줄어들며, 이는 이 설정 하에서의 동치성을 확인한다.
• 통합 프레임워크는 핵심 메시지 전달 메커니즘이 MAP 및 MMSE 추론 간에 공유되며, 오직 사후 근사 방법의 차이만 존재한다는 것을 드러낸다.