[论文解读] Fisher Information Bounds with Applications in Nonlinear Learning, Compression and Inference.

Manuel Stein, Josef A. Nossek+1 more|arXiv (Cornell University)|Dec 10, 2015

Target Tracking and Data Fusion in Sensor Networks参考文献 91被引用 5

一句话总结

本文通过利用指数族模型和充分统计量，提出了一种通用的费雪信息下界，使非线性学习、压缩和估计中的保守推断成为可能。它建立了模型匹配与紧致下界之间的联系，证明了在压缩数据上使用根-n一致估计器可实现保证的推断性能，并与汉森的广义方法矩建立了联系。

ABSTRACT

The problem how to derive a generic lower bound for the Fisher information measure is considered. We review a recent approach by two examples and identify a connection between the construction of strong Fisher information bounds and the sufficient statistics of the underlying system model. In order to present the problem of such information bounds within a broad scope, we discuss the properties of the Fisher information measure for distributions belonging to the exponential family. Under this restriction, we establish an identity connecting Fisher information, the natural parameters and the sufficient statistics of the system model. Replacing an arbitrary system model by an equivalent distribution within the exponential family, we then derive a general lower bound for the Fisher information measure. With the optimum estimation theoretic model matching rule we show how to obtain a strong version of the information bound. We then demonstrate different applications of the proposed conservative likelihood framework and the derived Fisher information bound. In particular, we discuss how to determine the minimum guaranteed inference capability of a memoryless system with unknown statistical output model and show how to achieve this pessimistic performance assessment with a root-n consistent estimator operating on a nonlinear compressed version of the observed data. Finally, we identify that the derived conservative maximum-likelihood algorithm can be formulated as a special version of Hansen’s generalized method of moments.

研究动机与目标

• 推导在未知统计模型的非线性系统中费雪信息的通用下界。
• 将强费雪信息下界构造与指数族分布中的充分统计量联系起来。
• 在仅使用压缩的、非线性处理的数据时，实现对记忆无系统推断的性能保证。
• 开发一种适用于模型不确定下估计的保守最大似然框架。
• 证明所提出的保守估计器与汉森的广义方法矩之间的等价性。

提出的方法

• 将任意系统模型表示为指数族中的等价分布，以利用其统计结构。
• 在指数族模型中，建立费雪信息、自然参数与充分统计量之间的恒等关系。
• 通过用其指数族等价模型替换原始模型，推导出费雪信息的一般下界。
• 应用最优估计理论模型匹配规则以收紧推导出的信息下界。
• 在非线性压缩数据上使用根-n一致估计器，以实现保证的推断性能。
• 将保守最大似然算法重新表述为汉森广义方法矩的一个特例。

实验结果

研究问题

• RQ1 如何在非线性和压缩数据系统中推导出紧致且通用的费雪信息下界？
• RQ2 充分统计量和自然参数在构建强费雪信息下界中起什么作用？
• RQ3 当仅能获得数据的压缩、非线性版本时，能否实现推断的性能保证？
• RQ4 所提出的保守似然框架与汉森的广义方法矩等既定估计方法有何关系？
• RQ5 一个输出模型未知的记忆无系统，其最小保证推断能力是多少？

主要发现

• 通过将系统建模于指数族内并利用自然参数与充分统计量之间的关系，推导出费雪信息的一般下界。
• 所提出的下界是紧致且保守的，可在非线性系统中实现模型不确定下的性能评估。
• 在非线性压缩数据上运行的根-n一致估计器，可实现记忆无系统最小保证的推断能力。
• 所推导的保守最大似然算法在形式上等价于汉森广义方法矩的一个特例。
• 该框架使在输出模型未知的系统中实现悲观但可靠的推断性能评估成为可能。
• 该方法通过利用指数族结构，为不确定条件下的推断、压缩和学习提供了一体化方法。