[论文解读] Information Complexity and Estimation

Dror Baron|arXiv (Cornell University)|Aug 4, 2011

Computability, Logic, AI Algorithms参考文献 18被引用 6

一句话总结

该论文提出了一种通用估计框架，通过平衡数据块的经验熵所衡量的信息复杂度与噪声测量的似然性，来估计非线性、噪声信号处理系统中的未知输入。通过结合马尔可夫链蒙特卡洛（MCMC）方法、自适应量化和通用无损压缩，该方法在无需输入分布先验知识的情况下，实现了渐近最优的估计性能，即使在任意非线性映射和噪声观测下也成立。

ABSTRACT

We consider an input $x$ generated by an unknown stationary ergodic source $X$ that enters a signal processing system $J$, resulting in $w=J(x)$. We observe $w$ through a noisy channel, $y=z(w)$; our goal is to estimate x from $y$, $J$, and knowledge of $f_{Y|W}$. This is universal estimation, because $f_X$ is unknown. We provide a formulation that describes a trade-off between information complexity and noise. Initial theoretical, algorithmic, and experimental evidence is presented in support of our approach.

研究动机与目标

• 开发一种无需输入分布先验知识的通用估计算法，尤其适用于具有噪声测量的非线性信号处理系统。
• 解决在加性白高斯噪声和i.i.d.信号之外的任意测量系统中缺乏通用方法的问题。
• 在贝叶斯MAP估计框架中，统一信息复杂度（通过经验熵衡量）与统计似然性。
• 通过使用自适应量化和MCMC采样，实现在高维设置下的实用估计。
• 在平稳遍历信源下实现估计误差的渐近最优性，匹配贝叶斯风险。

提出的方法

• 将估计问题表述为MAP推理问题，其中后验概率与似然 $ f_{Y|W}(y|w=J(\tilde{x})) $ 和基于经验熵 $ H_q(\tilde{x}) $ 的信息复杂度项成比例。
• 使用玻尔兹曼分布作为目标采样分布：$ f_s(\tilde{x}) \triangleq \frac{1}{\rho_s} \text{exp}\big(-s[H_q(\tilde{x}) - \text{log}(f_{Y|W}(y|w=J(\tilde{x})))\big) $，其中温度参数为 $ s $。
• 在MCMC框架内使用吉布斯采样，以逐个更新候选估计 $ \tilde{x} $ 的分量方式探索高维空间。
• 采用自适应量化器 $ Q $ 以降低计算成本并加速收敛，避免使用不断增长的量化网格。
• 在大小为 $ q = O(\text{log}(N)) $ 的数据块上使用经验熵 $ H_q(\tilde{x}) $ 来近似柯尔莫哥洛夫复杂度，确保当 $ N \to \infty $ 时收敛到熵率。
• 在编码长度（信息复杂度）与测量拟合之间实现权衡优化，从而在不显式知道 $ f_X $ 的情况下实现通用估计。

实验结果

研究问题

• RQ1 能否开发一种通用估计框架，在具有未知输入分布的任意非线性信号处理系统中表现良好？
• RQ2 在高维估计中，如何有效平衡通过经验熵衡量的信息复杂度与测量似然性？
• RQ3 在平稳遍历信源下，使用自适应量化和MCMC采样的方法在估计误差方面能在多大程度上实现渐近最优性？
• RQ4 在非高斯噪声和非线性映射下，该方法是否优于标准的 $ \ell_1 $-最小化在压缩感知中的表现？
• RQ5 该框架是否能在不掌握输入分布的情况下，实现接近贝叶斯最小均方误差（MMSE）的性能？

主要发现

• 所提出的基于MCMC的估计器实现了渐近最优的估计误差，在i.i.d.噪声和标量信道下收敛至贝叶斯风险。
• 在 $ y = Jx + z $ 的压缩感知中，当测量数 $ M $ 足够大时，该方法优于 $ \ell_1 $-最小化，尤其在非高斯噪声下表现更优。
• 自适应量化实现了更快的收敛速度和实际可扩展性，避免了大固定量化网格带来的计算负担。
• 在i.i.d.拉普拉斯输入上的数值结果表明，该方法实现了接近理论极限的率失真性能，优于熵编码和确定性压缩方法。
• 该算法渐近逼近平稳遍历连续幅值信源的率失真函数，展示了在有损压缩中的通用性。
• 理论和数值证据表明，即使在非线性系统和未知输入统计特性下，该方法也能有效平衡信息复杂度与测量似然性。