[論文レビュー] Fisher Information Lower Bounds with Applications in Hardware-Aware Nonlinear Signal Processing

Manuel Stein, Josef A. Nossek+1 more|arXiv (Cornell University)|Dec 10, 2015

Distributed Sensor Networks and Detection Algorithms被引用数 5

ひとこと要約

本稿では、指数型分布族近似を用いてフィッシャー情報行列の取り扱い可能な下界を提案し、非線形でハードウェア制約のある信号処理における性能解析を可能にする。悲観的フィッシャー情報行列は、パラメータ固有の情報フローを定量化し、二値ラジオセンサアレイや飽和アンプといったシステムにおける最適圧縮と一貫性のある推定を可能にする。

ABSTRACT

We discuss the problem of deriving compact and tractable lower bounds for the Fisher information matrix. To motivate our particular approach towards such expressions, we first examine the structure of the exact Fisher information matrix in the context of exponential family models. Then, by replacing an arbitrary data model by an equivalent distribution within the exponential family of distributions, we derive a lower bound for the Fisher information measure of probabilistic models with multivariate output and multiple parameters. The pessimistic information matrix allows a tractable quantitative analysis of the parameter-specific information flow through nonlinear random systems. Therefore, the technique is exploited for the performance analysis concerning direction-of-arrival estimation of wireless source signals with a binary radio sensor array. Further, by the example of a sensing device exhibiting amplifier saturation, we outline how the information bound can be used to learn compression schemes which preserve the parameter-specific information within the data while the probabilistic model is unknown. We also show that the conservative estimation performance characterized by the pessimistic Fisher information matrix is asymptotically achieved by a consistent estimator operating on compressed data. A reformulation of the estimation algorithm turns out to be reminiscent of Hansen's generalized method of moments while the pessimistic Fisher information matrix shows a vivid interpretation within a particular Gaussian modeling framework.

研究の動機と目的

• 非線形で多次元の確率的モデルにおけるフィッシャー情報行列のコンactかつ取り扱い可能な下界を導出すること。
• ハードウェア制限がある非線形確率的システムを通じたパラメータ固有の情報フローの定量的分析を可能にすること。
• 真の確率的モデルが不明な状況において、重要なパラメータ情報が保持される圧縮方式の設計を支援すること。
• 非線形システムにおける圧縮データ上で動作する推定器の理論的性能限界を確立すること。
• 実用的信号処理ハードウェアにおける推定性能の保守的だが漸近的にタイトなベンチマークを提供すること。

提案手法

• データモデルを任意に、フィッシャー情報の計算を簡素化するための指数型分布族の同等分布に近似する。
• 正確なフィッシャー情報の下界を保証する悲観的フィッシャー情報行列を導出し、取り扱いやすさと保守性を確保する。
• 非線形観測モデル下での二値ラジオセンサアレイにおける到来方向推定の分析にこの下界を適用する。
• アンプの飽和があるシステムにおけるパラメータ固有の情報を保持する圧縮方式の設計を、この下界を用いて支援する。
• 推定アルゴリズムをハンセンの一般化されたモーメント法に類似させる形に再定式化し、悲観的フィッシャー行列をガウスモデルフレームワークと結びつける。
• 圧縮データ上で動作する一貫性のある推定器が、悲観的フィッシャー情報下界が予測する性能に漸近的に到達することを示す。

実験結果

リサーチクエスチョン

• RQ1 非線形で多次元のモデル、複数のパラメータを含む状況において、取り扱い可能なフィッシャー情報行列の下界をどのように導出できるか？
• RQ2 悲観的フィッシャー情報行列は、非線形システムを通じたパラメータ固有の情報フローをどのように定量化するか？
• RQ3 導出された情報下界は、真のモデルが不明な状況において、推定に必要な情報を保持する圧縮方式の設計を支援できるか？
• RQ4 圧縮データ上で動作する推定器の性能は、非線形でハードウェア制約のあるシステムにおける理論的限界と比べてどうなるか？
• RQ5 悲観的フィッシャー情報行列と非線形推定における一般化されたモーメント法の関係は何か？

主な発見

• 悲観的フィッシャー情報行列は、正確なフィッシャー情報の保守的で取り扱いやすい下界を提供し、非線形システムにおける性能解析を可能にする。
• この下界は、アンプの飽和があるシステムにおけるセンサデータの効果的な圧縮を可能にし、同時にパラメータ固有の情報を保持する。
• 圧縮データ上で動作する一貫性のある推定器は、悲観的フィッシャー情報行列が予測する性能限界に漸近的に到達する。
• 再定式化された推定アルゴリズムはハンゼンの一般化されたモーメント法に類似しており、下界を確立された統計フレームワークと結びつける。
• 悲観的フィッシャー情報行列は、ガウスモデルフレームワーク内において明確な解釈を可能とし、実用的有用性を高める。
• 本手法は、二値ラジオセンサアレイにおける到来方向推定に成功裏に適用され、実世界のハードウェアに配慮した信号処理における関連性を示している。