[论文解读] Maximally informative models and diffeomorphic modes in the analysis of large data sets

Justin B. Kinney, Gurinder S. Atwal|arXiv (Cornell University)|Dec 15, 2012

Gene Regulatory Network Analysis参考文献 15被引用 1

一句话总结

本文提出在噪声测量 M 与预测表征 R 之间最大化互信息 I[M;R]，作为当噪声模型 R→M 未知或近似时标准推断的无似然替代方法。在大样本极限下，该方法同时优化所有满足数据处理不等式的依赖度量，并揭示了‘微分同胚模态’——参数空间中不受约束的方向，这些方向反映了推断问题中的固有结构约束，而标准似然方法则会掩盖这些特征。

ABSTRACT

Motivated by data-rich experiments in transcriptional regulation and sensory neuroscience, we consider the following general problem in statistical inference. When exposed to a high-dimensional signal S, a system of interest computes a representation R of that signal which is then observed through a noisy measurement M. From a large number of signals and measurements, we wish to infer the that maps S to R. However, the standard method for solving such problems, likelihood-based inference, requires perfect a priori knowledge of the mapping R to M. In practice such noise functions are usually known only approximately, if at all, and using an incorrect noise function will typically bias the inferred filter. Here we show that, in the large data limit, this need for a pre-characterized noise function can be circumvented by searching for filters that instead maximize the mutual information I[M;R] between observed measurements and predicted representations. Moreover, if the correct filter lies within the space of filters being explored, maximizing mutual information becomes equivalent to simultaneously maximizing every dependence measure that satisfies the Data Processing Inequality. It is important to note that maximizing mutual information will typically leave a small number of directions in parameter space unconstrained. We term these directions and present an equation that allows these modes to be derived systematically. The presence of diffeomorphic modes reflects a fundamental and nontrivial substructure within parameter space, one that is obscured by standard likelihood-based inference.

研究动机与目标

• 解决当从表征 R 到测量 M 的噪声函数表征不明确或未知时，高维数据中的统计推断挑战。
• 开发一种避免标准似然推断中错误噪声假设带来的偏差的方法。
• 识别并表征由于缺乏预设噪声模型而产生的参数空间中的内在子结构——特别是微分同胚模态。
• 证明在大样本极限下，最大化互信息 I[M;R] 可产生一个稳健的推断框架，该框架等价于同时优化所有有效的依赖度量。
• 提供一种系统化方法，用于推导在互信息最大化后仍存在的参数空间中不受约束的方向（即微分同胚模态）。

提出的方法

• 不依赖似然推断，而是最大化观测测量 M 与从输入信号 S 衍生的预测表征 R 之间的互信息 I[M;R]。
• 该方法在大样本极限下运行，此时 (S, M) 对的经验分布足够密集，可实现对 I[M;R] 的可靠估计。
• 该方法识别出滤波器空间中一组不受约束的参数方向——称为‘微分同胚模态’——这些方向不影响互信息，因此保持不可识别。
• 推导出一个系统化的方程，用于计算这些微分同胚模态，其基础是滤波器映射的雅可比矩阵和表征空间的结构。
• 该框架利用数据处理不等式，证明最大化 I[M;R] 等价于最大化所有满足该不等式的依赖度量。
• 该方法对参数空间的光滑可逆变换保持不变，反映了不受约束模态的几何本质。

实验结果

研究问题

• RQ1 当噪声模型 R→M 未知或近似时，互信息最大化能否作为似然推断的稳健替代方法？
• RQ2 与基于似然推断相比，使用互信息最大化时，参数空间中会浮现哪些结构性特征？
• RQ3 如何系统地识别并表征参数空间中的不受约束方向（即微分同胚模态）？
• RQ4 最大化 I[M;R] 以何种方式实现对所有满足数据处理不等式的依赖度量的优化？
• RQ5 在高维推断背景下，微分同胚模态的根本几何与统计来源是什么？

主要发现

• 在大样本极限下，最大化互信息 I[M;R] 提供了一种无似然推断方法，可避免因错误噪声模型带来的偏差。
• 该方法同时优化所有满足数据处理不等式的依赖度量，使其对依赖度量的选择具有鲁棒性。
• 在互信息最大化后，总存在少量不受约束的方向——即微分同胚模态——这反映了参数可识别性的内在限制。
• 这些微分同胚模态可通过基于滤波器映射雅可比矩阵和表征空间几何结构的方程系统性地推导得出。
• 微分同胚模态的存在揭示了参数空间中一种非平凡的子结构，而这种结构在标准似然推断中会被掩盖。
• 该框架表明，互信息最大化不仅具有鲁棒性，而且在本质上更具信息量，因为它揭示了推断问题的完整几何结构。