[論文レビュー] Certain Relations between Mutual Information and Fidelity of Statistical Estimation

Sudhakar Prasad|arXiv (Cornell University)|Oct 7, 2010

Statistical Mechanics and Entropy参考文献 3被引用数 16

ひとこと要約

本稿は、ベイズ推定における相互情報量（MI）と推定精度の間の新しい理論的関係を確立し、任意のチャネルおよび事前分布に対して有効な、最小平均二乗誤差（MMSE）を用いたMIの一般下界を導出する。さらに、狭い事前分布に対して2次近似においてMIとフィッシャー情報量（FI）を関連付け、ヌイズパラメータが推定性能に与える影響をMI、FI、MMSEの枠組みを用いて分析する。

ABSTRACT

I present several new relations between mutual information (MI) and statistical estimation error for a system that can be regarded simultaneously as a communication channel and as an estimator of an input parameter. I first derive a second-order result between MI and Fisher information (FI) that is valid for sufficiently narrow priors, but arbitrary channels. A second relation furnishes a lower bound on the MI in terms of the minimum mean-squared error (MMSE) on the Bayesian estimation of the input parameter from the channel output, one that is valid for arbitrary channels and priors. The existence of such a lower bound, while extending previous work relating the MI to the FI that is valid only in the asymptotic and high-SNR limits, elucidates further the fundamental connection between information and estimation theoretic measures of fidelity. The remaining relations I present are inequalities and correspondences among MI, FI, and MMSE in the presence of nuisance parameters.

研究の動機と目的

• ベイズ的パラメータ推定における相互情報量（MI）と最小平均二乗誤差（MMSE）の間の一般的かつ非漸近的な関係を確立すること。
• MIとフィッシャー情報量（FI）の既存の漸近的または局所的な関係を、狭い事前分布に対して有効な2次近似に拡張すること。
• MI、FI、MMSEの枠組みを用いてヌイズパラメータが推定精度に与える影響を分析し、性能不等式を導出すること。
• 高SNRまたは大標本の極限に依存しない、MI-FI関係のグローバルかつ非漸近的な一般化を提供すること。

提案手法

• 狭い事前分布に対して有効な、条件付き確率密度関数 $P(y|x)$ のテイラー展開を用いて、相互情報量の2次展開をフィッシャー情報量の観点から導出する。
• 尤度の比の対数の期待値として相互情報量を表現し、$x' - x$ のべき級数に展開可能となるようにする。
• ベイズ推定のMMSEを用いてMIの下界を確立する：$I(X;Y) \geq h(X) - \frac{1}{2}\ln(2\pi e \cdot \text{MMSE})$ であり、これは任意の事前分布およびチャネルに対して有効である。
• 多入力多出力（MIMO）システムを一般化して、MI-MMSE関係を多次元入出力へと拡張する。
• ベイズ推定理論を用いて、ヌイズパラメータを含む・含まない状況でのMMSEを計算し、ヌイズパラメータが存在する際にはMMSEが低下しないことを示す不等式を導出する。
• クラメール・ラオ下界とベイズの定理を用いて、条件付き密度および周辺密度の観点から微分エントロピーおよび相互情報量の式を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般設定下で、ベイズ推定の最小平均二乗誤差（MMSE）を用いて、相互情報量（MI）を下界からどのように評価できるか？
• RQ2 狭い事前分布および任意のチャネルに対して、相互情報量（MI）とフィッシャー情報量（FI）の正確な2次関係は何か？
• RQ3 ヌイズパラメータは、MI、FI、MMSEで測定されたターゲットパラメータの推定精度にどのように影響を与えるか？
• RQ4 MI-MMSE関係は、多入力多出力（MIMO）システムへと一般化可能か？
• RQ5 ヌイズパラメータが関心パラメータの推定性能を低下させない条件は何か？

主な発見

• 任意のチャネルおよび事前分布に対して有効な、相互情報量（MI）の一般的下界が、ベイズ推定の最小平均二乗誤差（MMSE）を用いて導出された：$I(X;Y) \geq h(X) - \frac{1}{2}\ln(2\pi e \cdot \text{MMSE})$。
• この下界はタイトであり、局所的なMI-FI関係のグローバル一般化を提供する。局所的関係は、漸近的または高SNR極限でのみ有効であるのに対し、本下界はより広範に適用可能である。
• 狭い事前分布に対して、MIとフィッシャー情報量の間の2次関係が導出され、MIが事前分布平均のフィッシャー情報量にほぼ比例することを示している。
• ヌイズパラメータが存在しても、ターゲットパラメータの推定におけるMMSEは低下しない。差 $\text{MMSE}^{(+)} - \text{MMSE}^{(-)} \geq 0$ は常に非負である。
• ヌイズパラメータが推定性能を低下させない最適な条件は、$\chi = \eta$ のときであり、ここで $\chi$ は $X$ と $U$ の間の事前相関を測る指標であり、$\eta$ は結合強度を測る指標である。
• 数値結果により、ヌイズパラメータのSNRが上昇するにつれてMMSEが増加することが確認されたが、ヌイズパラメータが存在しない場合のMMSEを下回ることはない。これは、モデル不確実性下でもベイズ推定の根本的なロバスト性を示している。