[論文レビュー] Information Complexity and Estimation

Dror Baron|arXiv (Cornell University)|Aug 4, 2011

Computability, Logic, AI Algorithms参考文献 18被引用数 6

ひとこと要約

本稿では、データブロックの経験エントロピーによる情報複雑度とノイズの多い測定の尤度の両者をバランスさせることで、非線形でノイズのある信号処理系からの未知の入力を推定する普遍的推定フレームワークを提案する。MCMCと適応的量子化、および普遍的無損失圧縮を組み合わせることで、入力分布の事前知識がなくても、任意の非線形写像およびノイズのある観測下でも漸近的に最適な推定性能を達成する。

ABSTRACT

We consider an input $x$ generated by an unknown stationary ergodic source $X$ that enters a signal processing system $J$, resulting in $w=J(x)$. We observe $w$ through a noisy channel, $y=z(w)$; our goal is to estimate x from $y$, $J$, and knowledge of $f_{Y|W}$. This is universal estimation, because $f_X$ is unknown. We provide a formulation that describes a trade-off between information complexity and noise. Initial theoretical, algorithmic, and experimental evidence is presented in support of our approach.

研究の動機と目的

• 入力分布の事前知識がなくても動作する普遍的推定アルゴリズムの開発、特にノイズのある測定を伴う非線形信号処理系に特化すること。
• 加法的白色ガウスノイズやi.i.d.信号にとどまらない、任意の測定系における普遍的アプローチの欠如を是正すること。
• ベイズMAP推定フレームワーク内において、経験エントロピーによる情報複雑度と統計的尤度を統合すること。
• 適応的量子化とMCMCサンプリングを用いることで、高次元設定における実用的推定を可能とすること。
• 定常エルゴード的ソース下で、推定誤差の漸近的最適性を達成すること、すなわちベイズリスクと一致させること。

提案手法

• 推定をMAP推論問題として定式化し、事後分布が尤度 $ f_{Y|W}(y|w=J( ilde{x})) $ と経験エントロピー $ H_q( ilde{x}) $ に基づく情報複雑度項の積に比例するように設定する。
• ターゲットサンプリング分布としてボルツマン分布を採用：$ f_s( ilde{x}) \triangleq \frac{1}{\rho_s} \text{exp}\big(-s[H_q(\tilde{x}) - \text{log}(f_{Y|W}(y|w=J(\tilde{x})))\big) $、温度パrameter $ s $ を用いる。
• 候補推定値 $ \tilde{x} $ の高次元空間を探索するため、MCMCフレームワーク内にギブスサンプリングを採用し、1成分ずつ逐次更新する。
• 計算コストの低減と収束の加速を図るため、固定の増大する量子化グリッドを必要としない、適応的量子化器 $ Q $ を採用する。
• サイズ $ q = O(\text{log}(N)) $ のブロックにおける経験エントロピー $ H_q(\tilde{x}) $ を用い、コルモゴロフ複雑度の近似として機能させ、$ N \to \infty $ のときエントロピー率に収束することを保証する。
• 符号長（情報複雑度）と測定適合度のトレードオフを最適化することで、$ f_X $ の明示的知識なしに普遍的推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 任意の非線形信号処理系と未知の入力分布を想定した場合に、良好に動作する普遍的推定フレームワークを開発可能か？
• RQ2 高次元推定において、経験エントロピーによる情報複雑度と測定尤度を効果的にバランスさせることは可能か？
• RQ3 適応的量子化を用いたMCMCサンプリングが、定常エルゴード的ソース下で推定誤差の漸近的最適性をどの程度達成できるか？
• RQ4 非ガウス分布ノイズおよび非線形写像下において、標準的な $ \ell_1 $-最小化法に比べ、提案手法は性能を上回るか？
• RQ5 入力分布の知識がなくても、普遍的状況下でベイズ最小平均二乗誤差（MMSE）に近い性能を達成できるか？

主な発見

• 提案されたMCMCベースの推定器は、漸近的に最適な推定誤差を達成し、i.i.d.ノイズおよびスカラー通信路下でベイズリスクに収束する。
• $ y = Jx + z $ における圧縮センシングでは、測定数 $ M $ が十分に大きい場合、非ガウスノイズ下でも $ \ell_1 $-最小化法を上回る性能を示す。
• 適応的量子化により収束が高速化され、大規模な固定量子化グリッドを避けることで計算負荷が軽減され、実用的スケーラビリティが向上する。
• i.i.d.ラプラス入力に対する数値結果から、本手法は理論的限界に近いレート・リダンドランス性能を達成し、エントロピー符号化や決定的圧縮手法を上回ることを示している。
• 定常エルゴード的連続振幅ソースに対して、本手法は漸近的にレート・リダンドランス関数に近づき、損失圧縮における普遍性を示している。
• 理論的および数値的証拠により、本手法は非線形系や未知の入力統計を持つ状況下でも、情報複雑度と測定尤度のバランスを効果的に実現していることが裏付けられている。