[論文レビュー] Information-Theoretic Viewpoints on Optimal Causal Coding-Decoding Problems

Siva K. Gorantla, Todd P. Coleman|arXiv (Cornell University)|Feb 1, 2011

Neural dynamics and brain function参考文献 55被引用数 19

ひとこと要約

本稿は、フィードバックを伴う最適因果符号化・復号化問題に対して、情報理論的枠組みを提示し、動的計画法を用いて、十分統計量に基づく最適戦略の構造的結果を導出する。固定の符号化器・復号器ペアが特定のコスト関数に対して最適である逆最適制御の条件を確立し、ガウス過程および隠れマルコフモデルにおける対数尤度比コスト関数で実証する。

ABSTRACT

In this paper we consider an interacting two-agent sequential decision-making problem consisting of a Markov source process, a causal encoder with feedback, and a causal decoder. Motivated by a desire to foster links between control and information theory, we augment the standard formulation by considering general alphabets and a cost function operating on current and previous symbols. Using dynamic programming, we provide a structural result whereby an optimal scheme exists that operates on appropriate sufficient statistics. We emphasize an example where the decoder alphabet lies in a space of beliefs on the source alphabet, and the additive cost function is a log likelihood ratio pertaining to sequential information gain. We also consider the inverse optimal control problem, where a fixed encoder/decoder pair satisfying statistical conditions is shown to be optimal for some cost function, using probabilistic matching. We provide examples of the applicability of this framework to communication with feedback, hidden Markov models and the nonlinear filter, decentralized control, brain-machine interfaces, and queuing theory.

研究の動機と目的

• フィードバックを伴う因果符号化・復号化システムにおける逐次的意思決定を統一的に定式化することで、制御理論と情報理論を橋渡しする。
• 一般のアルファベット設定において、計算が容易に行えるように、最適戦略が十分統計量に依存する構造的条件を同定する。
• 確率的マッチングを用いて逆最適制御問題を解き、任意の統計的に一貫した符号化器・復号器ペアが、導出されたコスト関数に対して最適であることを示す。
• フィードバックを伴う通信、隠れマルコフモデル、非線形フィルタリング、分散型制御、脳-機械インターフェースへの適用可能性を示す。
• 時間窓に依存しないアルファベットおよびコストの和を目的関数とする一般化により、古典的なレート・ドリフト理論および分離定理を拡張する。

提案手法

• 動的計画法を用いて構造的結果を導出：過去の観測値および行動の十分統計量に依存する最適因果符号化・復号化戦略が存在する。
• 逐次的情報量の増加を定量化するため、対数尤度比に基づくコスト関数を導入し、特に信念空間復号において有効である。
• 逆最適制御問題を解くために確率的マッチングを適用し、任意の統計的に一貫した符号化器・復号器ペアが、導出されたコスト関数に対して最適であることを示す。
• 線形十分統計量および最小平均二乗誤差推定を用いて、ガウス過程に対して明示的な定常マルコフ戦略を導出する。
• 最適コスト関数が、復号器出力の条件付き分布と周辺分布の間のカルバック・ライブラー距離に比例することを確立する。
• 線形ガウスモデルを用いて、最適方策およびコスト関数の閉形式表現を導出し、システムの分散を用いてパラメータβおよびγを表現する。

実験結果

リサーチクエスチョン

• RQ1 一般のアルファベットおよびフィードバックを伴う状況下で、過去の観測値および行動の十分統計量に依存する最適因果符号化・復号化戦略が存在する条件は何か？
• RQ2 固定の符号化器・復号器ペアが、あるコスト関数に対して最適であるような逆最適制御問題をどのように解けるか？
• RQ3 復号器がソースアルファベット上の信念を処理する場合、最適コスト関数の構造はいかなるものか？
• RQ4 導出された最適戦略およびコスト関数は、通信およびフィルタリング理論における古典的結果をどのように一般化するか？
• RQ5 この枠組みは、非線形フィルタリング、分散型制御、脳-機械インターフェースにおいて、どのような方法で応用可能か？

主な発見

• 最適因果符号化・復号化戦略は、過去の観測値および行動の十分統計量にのみ依存し、一般のアルファベット設定において計算が容易に行える。
• 独立同分布のノイズを伴うガウス過程では、最適符号化器および復号器は線形かつ定常的であり、閉形式のゲインβ = √(L/C)およびγ = βC/(L + σ²v)を有する。
• 逆最適制御コスト関数は、復号器出力の条件付き分布と周辺分布の間の対数尤度比に比例する。
• 最適コスト関数は、二乗推定誤差の和と、相関係数ρおよびノイズ分散に依存する重み付き項の和に比例する。
• 導出されたコスト関数により、線形定常マルコフ戦略が最適であり、最適性条件はカルバック・ライブラー距離の最小化によって検証される。
• この枠組みは、隠れマルコフモデルおよび非線形フィルタリングへ一般化可能であり、復号器の出力空間はソースの信念を表し、コスト関数は逐次的情報量の増加を符号化する。