[論文レビュー] Another Look at the Physics of Large Deviations With Application to Rate-Distortion Theory

Neri Merhav|ArXiv.org|Aug 25, 2009

Quantum Computing Algorithms and Architecture参考文献 12被引用数 5

ひとこと要約

この論文は、情報理論における大偏差レート関数、特にレート・ディストーション関数とチャネル容量を、外部力（チェルノフパラメータ）が逆温度ではなく力学的平衡における外力として作用する枠組みで再解釈する。この移行により、熱的平衡モデルを超えて、レート・ディストーション関数を力学的仕事および統合分散として表現でき、推定理論への新たな接続が可能になる。

ABSTRACT

We revisit and extend the physical interpretation recently given to a certain identity between large--deviations rate--functions (as well as applications of this identity to Information Theory), as an instance of thermal equilibrium between several physical systems that are brought into contact. Our new interpretation, of mechanical equilibrium between these systems, is shown to have several advantages relative to that of thermal equilibrium. This physical point of view also provides a trigger to the development of certain alternative representations of the rate--distortion function and channel capacity, which are new to the best knowledge of the author.

研究の動機と目的

• 情報理論における大偏差レート関数の物理的解釈を、熱的平衡から力学的平衡へと再定式化すること。
• 従来の熱的平衡モデルの限界、特に複数のレアイベントや非自明な符号化分布依存性との不適合性を解消すること。
• 力学的力の類似性と自由エネルギーの概念を用いて、レート・ディストーション関数およびチャネル容量の新たな解析的表現を開発すること。
• 力学的仕事および共分散に基づく積分を介して、統計物理学と情報理論の間の概念的・数学的橋渡しを確立すること。

提案手法

• チェルノフパラメータを逆温度ではなく外部力学的力として再解釈し、熱的平衡ではなく力学的平衡に整合させる。
• 標準的な熱力学的関係（自由エネルギーと分配関数の関係）を用いて、大偏差レート関数を物理系のヘルムホルツ自由エネルギーとして特定する。
• レート・ディストーション関数を、歪み経路に沿って外部力が行った最小力学的仕事としての表現を導出する。
• フラクチュエーション・ディスシペーション定理の類似形から導かれる、1文字レート最小平均二乗誤差（MMSE）を含む積分形のレート・ディストーション関数を導入する。
• 複数のチェルノフパラメータ（力）を導入することで、複数の歪み測度へと枠組みを一般化し、多次元力学系を可能にする。
• 外部力 $ s $ に対する系の応答をモデル化するため、連合分布 $ P_s(x,\hat{x}) \propto P(x)Q(\hat{x})e^{sd(x,\hat{x})} $ を用い、この分布下での条件付き期待値および共分散を計算する。

実験結果

リサーチクエスチョン

• RQ1 熱的平衡を力学的平衡に置き換えることで、情報理論における大偏差の物理的解釈を改善できるか？
• RQ2 チェルノフパラメータを逆温度ではなく力学的力として再解釈すると、レート・ディストーション関数の表現にどのような影響を与えるか？
• RQ3 歪みでパrameter化された経路に沿った力学的仕事として、レート・ディストーション関数を表現できるか？
• RQ4 力学的平衡枠組みから、特にMMSEまたは統合分散の観点から、レート・ディストーション関数にどのような新しい表現が得られるか？
• RQ5 この枠組みは、複数のレアイベントや複数の歪み測度へとどのように一般化できるか？

主な発見

• レート・ディストーション関数は、歪みによって定義される経路に沿って外部力 $ s $ が行った最小力学的仕事として解釈でき、新たな運用的解釈が得られる。
• 歪みと一般関数 $ t(x,\hat{x}) $ の間の条件付き共分散を含む積分形のレート・ディストーション関数の新しい表現が導出され、フラクチュエーション・ディスシペーション定理の一般化が達成される。
• レート・ディストーション関数は、歪み推定における1文字レート最小平均二乗誤差（MMSE）を用いて表現可能であり、ベイズ的クラーメル・ラオ下界などの推定理論的ツールによる新たな境界が可能になる。
• 力学的平衡解釈により、確率的符号化分布を縮退と解釈する必要がなくなり、従来の熱的平衡モデルの主要な技術的限界が解消される。
• 複数の力 $ s_1, s_2, \dots $ を導入することで、複数の歪み測度へと枠組みを一般化でき、全仕事は多次元系における力と変位ベクトルの内積として表される。
• 歪み依存エネルギーを持つ粒子の1次元配列に対して、レート・ディストーション関数が $ R(\Delta) = \ln 2 - h_2(\Delta) $ として与えられ、ここで $ h_2 $ は2進エントロピー関数であることが示され、既知の結果と整合することが確認された。