[論文レビュー] A comment on the "A unified Bayesian inference framework for generalized linear models"

Jiang Zhu|arXiv (Cornell University)|Apr 9, 2019

Gaussian Processes and Bayesian Inference参考文献 5被引用数 11

ひとこと要約

本稿は、一般化線形モデル（GLMs）における和積GAMP（MMSE用）と最大和GAMP（MAP用）の関係を明確にし、標準線形モデル（SLM）とMMSEまたはMAP推定モジュールを組み合わせた枠組みの下で両者が統一可能であることを示している。主な洞察は、最大和GAMPの出力関数をラプラス近似を用いて再定式化することで、和積GAMPの構造と一致させられることであり、推定目的（MAP対MMSE）が異なっても、それらが共通の下位メカニズムを有することを明らかにしている。

ABSTRACT

The recent work `A unified Bayesian inference framework for generalized linear models' \cite{meng1} shows that the GLM can be solved via iterating between the standard linear module (SLM) (running with standard Bayesian algorithm) and the minimum mean squared error (MMSE) module. The proposed framework utilizes expectation propagation and corresponds to the sum-product version \cite{Rangan1}. While in \cite{Rangan1}, a max-sum GAMP is also proposed. What is their intrinsic relationship? This comment aims to answer this.

研究の動機と目的

• 一般化線形モデルにおける和積GAMP（MMSE用）と最大和GAMP（MAP用）の内在的関係を明確化すること。
• 両フレームワークが、標準線形モデル（SLM）と非線形推定モジュール（MMSEまたはMAP）に分解可能であることを示すこと。
• 最大和GAMPの出力関数をラプラス近似を用いて再定式化し、和積GAMPの形式と一致させること。
• 期待誤差（EP）が両フレームワークの背後にある共通の推論メカニズムを確立すること。

提案手法

• MAP推定における事後分散の近似にラプラス近似を用い、これにより和積GAMPにおけるMMSE分散計算と関連づける。
• MAP推定と対数尤度関数の2次微分を用いて、最大和GAMPの出力スカラ推定関数を導出する。
• 最大和GAMPの出力関数の導関数を、和積GAMPで用いられる形式に再定式化し、構造的同等性を示す。
• 期待誤差（EP）を用いてSLMと非線形推定モジュール間のメッセージを更新し、GLMsにおける反復的推論を可能にする。
• 同一のAWGNチャネルモデル下で、和積GAMPと最大和GAMPの出力関数を比較し、EPを用いて表現した場合に同一の関数形をとることを示す。
• 両フレームワークが、SLMとMMSEまたはMAPモジュールの直列接続として表現可能であり、EPがメッセージ更新を処理することを示す。

実験結果

リサーチクエスチョン

• RQ1 事後モーメントの観点から、和積GAMPと最大和GAMPの出力関数はどのように関係しているか？
• RQ2 ラプラス近似を用いることで、最大和GAMPフレームワークを和積GAMPの数学的構造に再定式化可能か？
• RQ3 期待誤差（EP）は、GLMsにおけるMMSEとMAP推定の推論メカニズムを統一する役割を果たすか？
• RQ4 異なる推定目的（MAP対MMSE）を持つにもかかわらず、なぜ和積GAMPと最大和GAMPはAWGNチャネル設定で同一の出力関数を生成するのか？
• RQ5 ラプラス近似は、メッセージスティングアルゴリズムの文脈において、MAPとMMSE推定のギャップをどのように埋めるか？

主な発見

• 最大和GAMPの出力関数 $ g_{\rm out} $ は、和積GAMPのそれと構造的に同一であり、両者とも平均推定値と事前平均の差に依存する。
• 最大和GAMPにおける出力関数の導関数 $ -g_{\rm out}^\prime $ は、$ (\tau_p - {\rm var}_{\rm MAP}(z|\hat{p},y))/\tau_p^2 $ として再表現可能であり、和積GAMPで用いられる形式と一致する。
• ラプラス近似により、MAPに基づく分散推定が、和積GAMPにおけるMMSE分散と等価な形に変換可能である。
• 和積GAMPと最大和GAMPの両方とも、標準線形モデル（SLM）と非線形推定モジュール（MMSEまたはMAP）に分解可能であり、EPがメッセージ更新を処理する。
• AWGNチャネルでは、EPを適用した場合、両GAMPバージョンの出力関数が同一の式に簡略化され、この設定下での同等性が確認される。
• 統一された枠組みにより、MAPとMMSE推論の間で核心的なメッセージスティングメカニズムが共有されていることが明らかになり、使用される事後分布近似法の違いにのみ起因する。