[论文解读] Another Look at the Physics of Large Deviations With Application to Rate-Distortion Theory

Neri Merhav|ArXiv.org|Aug 25, 2009

Quantum Computing Algorithms and Architecture参考文献 12被引用 5

一句话总结

本文将信息论中的大偏差率函数——特别是率失真函数和信道容量——重新解释为一种力学平衡框架下的自由能，其中切尔诺夫参数被视作外力而非逆温度。这一转变使率失真函数得以表示为机械功和积分方差，突破了热平衡模型的限制，并通过MMSE建立了与估计理论的新联系。

ABSTRACT

We revisit and extend the physical interpretation recently given to a certain identity between large--deviations rate--functions (as well as applications of this identity to Information Theory), as an instance of thermal equilibrium between several physical systems that are brought into contact. Our new interpretation, of mechanical equilibrium between these systems, is shown to have several advantages relative to that of thermal equilibrium. This physical point of view also provides a trigger to the development of certain alternative representations of the rate--distortion function and channel capacity, which are new to the best knowledge of the author.

研究动机与目标

• 将信息论中大偏差率函数的物理解释从热平衡框架重新定位至力学平衡框架。
• 解决先前热平衡模型的局限性，特别是其与多重罕见事件及非平凡编码分布依赖性的不兼容性。
• 利用力学力类比和自由能概念，发展率失真函数与信道容量的新解析表示。
• 通过机械功和基于协方差的积分，建立统计物理与信息论之间的概念与数学桥梁。

提出的方法

• 将切尔诺夫参数重新解释为外力而非逆温度，使其与力学平衡而非热平衡相一致。
• 将大偏差率函数识别为物理系统的亥姆霍兹自由能，而非熵，基于自由能与配分函数之间的标准热力学关系。
• 推导出率失真函数作为外力 $ s $ 沿失真路径所做最小机械功的表示。
• 引入一种基于涨落-耗散定理类比的积分形式率失真函数，涉及单字母最小均方误差（MMSE）。
• 通过引入多个切尔诺夫参数（力）将框架推广至多个失真度量，实现多维力学系统。
• 使用联合分布 $ P_s(x,\hat{x}) \propto P(x)Q(\hat{x})e^{sd(x,\hat{x})} $ 建模系统对外力 $ s $ 的响应，所有条件期望与协方差均基于该分布计算。

实验结果

研究问题

• RQ1 能否通过用力学平衡替代热平衡，改进信息论中大偏差的物理解释？
• RQ2 将切尔诺夫参数重新解释为力学力而非逆温度，对率失真函数的表示有何影响？
• RQ3 率失真函数能否表示为沿由失真参数化的路径所作的机械功？
• RQ4 在力学平衡框架下，率失真函数的哪些新表示形式浮现，特别是与MMSE或积分方差相关的形式？
• RQ5 该框架如何推广至多重罕见事件或多于一个失真度量的情形？

主要发现

• 率失真函数可解释为外力 $ s $ 沿失真定义的路径所作的最小机械功，提供了新的操作性解释。
• 推导出率失真函数的新表示形式，即涉及失真与一般函数 $ t(x,\hat{x}) $ 之间条件协方差的积分，推广了涨落-耗散定理。
• 率失真函数以单字母MMSE形式表达，使可通过估计理论工具（如贝叶斯Cramér-Rao界）获得新界。
• 力学平衡解释避免了将随机编码分布解释为简并性的需要，解决了先前热平衡模型的关键技术局限。
• 通过引入多个力 $ s_1, s_2, \dots $，该框架可推广至多个失真度量，总功为多维系统中力向量与位移向量的内积。
• 对于具有失真相关能量的一维粒子链，率失真函数被证明为 $ R(\Delta) = \ln 2 - h_2(\Delta) $，其中 $ h_2 $ 为二元熵函数，与已知结果一致。