[論文レビュー] Fisher Information Bounds with Applications in Nonlinear Learning, Compression and Inference.

Manuel Stein, Josef A. Nossek+1 more|arXiv (Cornell University)|Dec 10, 2015

Target Tracking and Data Fusion in Sensor Networks参考文献 91被引用数 5

ひとこと要約

本稿では、指数型分布族モデルと十分統計量を活用することで、Fisher 情報の一般化された下界を提案し、非線形学習、圧縮、推定における保守的推論を可能にする。モデルマッチングとタイトな下界の間の関係を確立し、圧縮データ上の root-n 一致推定量が保証された推論性能を達成できることを示し、Hansen の一般化モーメント法と関連付ける。

ABSTRACT

The problem how to derive a generic lower bound for the Fisher information measure is considered. We review a recent approach by two examples and identify a connection between the construction of strong Fisher information bounds and the sufficient statistics of the underlying system model. In order to present the problem of such information bounds within a broad scope, we discuss the properties of the Fisher information measure for distributions belonging to the exponential family. Under this restriction, we establish an identity connecting Fisher information, the natural parameters and the sufficient statistics of the system model. Replacing an arbitrary system model by an equivalent distribution within the exponential family, we then derive a general lower bound for the Fisher information measure. With the optimum estimation theoretic model matching rule we show how to obtain a strong version of the information bound. We then demonstrate different applications of the proposed conservative likelihood framework and the derived Fisher information bound. In particular, we discuss how to determine the minimum guaranteed inference capability of a memoryless system with unknown statistical output model and show how to achieve this pessimistic performance assessment with a root-n consistent estimator operating on a nonlinear compressed version of the observed data. Finally, we identify that the derived conservative maximum-likelihood algorithm can be formulated as a special version of Hansen’s generalized method of moments.

研究の動機と目的

• 未知の統計的モデルを有する非線形システムにおける Fisher 情報の汎用的下界を導出すること。
• 指数型分布における十分統計量と関連して強固な Fisher 情報下界を構築する方法を結びつけること。
• 圧縮され、非線形的に処理されたデータを用いた記憶なしシステムにおける推論の性能保証を可能にすること。
• モデル不確実性下での推定に適用可能な保守的最尤枠組みを構築すること。
• 提案された保守的推定量と Hansen の一般化モーメント法との等価性を示すこと。

提案手法

• 任意のシステムモデルをその統計的構造を活用できる指数型分布族内での同等分布として表現する。
• 指数型分布族モデルにおける Fisher 情報、自然パラメータ、十分統計量の間の恒等関係を確立する。
• 元のモデルをその指数型分布族同等形に置き換えることで、Fisher 情報の一般化された下界を導出する。
• 最適な推定理論的モデルマッチングルールを適用して、導出された情報下界をタイトにする。
• 非線形に圧縮されたデータ上で root-n 一貫推定量を用いることで、保証された推論性能を達成する。
• 保守的最尤アルゴリズムを Hansen の一般化モーメント法の特別な場合として再定式化する。

実験結果

リサーチクエスチョン

• RQ1 非線形的・圧縮されたデータシステム全体にわたるタイトで汎用的な Fisher 情報下界をどのように導出できるか？
• RQ2 十分統計量と自然パラメータは、強固な Fisher 情報下界を構築する上で果たす役割は何か？
• RQ3 データの圧縮され、非線形的に処理されたバージョンしか入手できない状況でも、推論の性能保証は達成可能か？
• RQ4 提案された保守的尤度枠組みは、Hansen の一般化モーメント法のような既存の推定手法とどのように関係するか？
• RQ5 出力モデルが未知である記憶なしシステムの最小保証推論能力は何か？

主な発見

• システムを指数型分布族にモデル化し、自然パラメータと十分統計量の関係を活用することで、Fisher 情報の一般化された下界が導出された。
• 提案された下界はタイトで保守的であり、非線形システムにおけるモデル不確実性下での性能評価を可能にする。
• 非線形に圧縮されたデータ上で動作する root-n 一貫推定量は、記憶なしシステムの最小保証推論能力を達成できる。
• 導出された保守的最尤アルゴリズムは、形式的に Hansen の一般化モーメント法の特別な場合と等価である。
• 未知の統計的出力モデルを有するシステムにおいて、楽観的ではなく信頼性のある推論性能評価が可能になる。
• 指数型分布族の構造を活用することで、不確実性下での推論、圧縮、学習を統合的に扱うフレームワークが提供される。