[論文レビュー] A Comparison of Two Approaches: Maximum Entropy on the Mean (MEM) and Bayesian Estimation (BAYES) for Inverse Problems

Ali Mohammad‐Djafari|ArXiv.org|Nov 14, 2001

Statistical Mechanics and Entropy参考文献 35被引用数 5

ひとこと要約

この論文は、不適切に定義された逆問題を解くために、最大エントロピー・オン・ザ・メーン（MEM）とベイズ推定（BAYES）を比較し、両者が同等の凸最適化基準を介して同一の解に至ることを示している。MEMは、データ制約下での最大エントロピー分布の期待値として解を扱うが、BAYESはベイズの定理を用いて事後分布を計算し、より洗練された不確実性の定量化とハイパーパrameterの取り扱いを可能にする。一方、MEMは線形問題に限定されており、デフォルトで誤差伝搬を扱わない。

ABSTRACT

To handle with inverse problems, two probabilistic approaches have been proposed: the maximum entropy on the mean (MEM) and the Bayesian estimation (BAYES). The main object of this presentation is to compare these two approaches which are in fact two different inference procedures to define the solution of an inverse problem as the optimizer of a compound criterion. Keywords: Inverse problems, Maximum Entropy on the Mean, Bayesian inference, Convex analysis.

研究の動機と目的

• 不適切に定義された逆問題を解くための確率的アプローチとして、最大エントロピー・オン・ザ・メーン（MEM）とベイズ推定（BAYES）を比較すること。
• 解の一意性、安定性、不確実性の定量化、計算上の実行可能性という観点から、各手法の長所と短所を評価すること。
• 特にデータの不確実性とハイパーパrameterの取り扱いに関して、MEMとBAYESの解釈的および実用的差異を評価すること。
• MEMとBAYESが同じ凸最適化基準を介して同一の解を生じる条件を特定すること。

提案手法

• MEMは、線形データ制約下でエントロピーを最大化する確率分布の期待値として解を定式化し、凸双対性を用いて導出される。
• MEMの解は、J(x) = Q(y - A(x)) + λΩ(x, m) という凸基準を最小化することで得られる。ここで、QとΩはそれぞれデータと事前制約から導かれる。
• BAYESはベイズの定理を用いて事後分布 p(x|y) を計算し、尤度 p(y|x) と事前分布 p(x) を組み合わせる。解は事後分布の平均または最頻値として定義される。
• 両手法は同じ最適化基準に至る可能性があり、QとΩの関数形が同一であれば、数値的解も同一となる。
• MEMは基準測度 μ(x) を用い、Kullback-Leibler散発を最小化することで最大エントロピー分布を特定するが、BAYESは完全なベイズ推論に依存する。
• MEMの拡張には誤差モデル化と感度解析が含まれるが、BAYESほど成熟した手法ではない。

実験結果

リサーチクエスチョン

• RQ1 MEMとBAYESが逆問題に対して同一の解を生じる条件は何か？
• RQ2 MEMとBAYESは、データの不確実性と誤差伝搬の取り扱いにおいてどのように異なるか？
• RQ3 MEMがハイパーパrameterを扱う際の実用的利点と制限は、BAYESと比較してどのような点にあるか？
• RQ4 MEMは非線形逆問題に、BAYESと同等の頑健性をもって拡張可能か？
• RQ5 MEMとBAYESの解釈フレームワークは、事前モデルの選定と正当化にどのように影響を与えるか？

主な発見

• MEMとBAYESは、両者とも J(x) = Q(y - A(x)) + λΩ(x, m) という同じ凸基準の最小化問題として定式化された場合、同一の解を生じる。
• BAYESは尤度 p(y|x) を通じてデータの不確実性を自然に組み込むが、標準的なMEMはデータを正確な制約として扱い、誤差の影響を本質的に伝搬しない。
• BAYESは完全な事後分布を提供するため、より洗練された不確実性の定量化と、事前分布と事後分布の間のKullback-Leibler散発といった情報理論的指標が利用可能である。
• MEMはハイパーパrameterの選定に苦労し、ハイパーパrameter推定のための成熟したツールが不足している。これに対してBAYESは、ハイパーパrameter推論のための確立された手法を提供する。
• MEMは標準形では線形問題に限定されているが、BAYESは適切なモデリングにより非線形逆問題にも適用可能である。
• MEMはまだ若手の分野ではあるが、最大エントロピー原理による解釈性が重視される状況では有望な代替フレームワークを提供する。今後の拡張によって、BAYESとの差は縮まる可能性がある。