[论文解读] Information-Theoretic Viewpoints on Optimal Causal Coding-Decoding Problems

Siva K. Gorantla, Todd P. Coleman|arXiv (Cornell University)|Feb 1, 2011

Neural dynamics and brain function参考文献 55被引用 19

一句话总结

本论文提出了一种基于信息论的反馈最优因果编码-解码问题框架，利用动态规划推导出基于充分统计量的最优策略的结构性结果。该研究建立了逆最优控制条件，即在特定代价函数下，固定编码器-解码器对为最优，该结论在高斯模型和隐马尔可夫模型中通过对数似然代价函数得到验证。

ABSTRACT

In this paper we consider an interacting two-agent sequential decision-making problem consisting of a Markov source process, a causal encoder with feedback, and a causal decoder. Motivated by a desire to foster links between control and information theory, we augment the standard formulation by considering general alphabets and a cost function operating on current and previous symbols. Using dynamic programming, we provide a structural result whereby an optimal scheme exists that operates on appropriate sufficient statistics. We emphasize an example where the decoder alphabet lies in a space of beliefs on the source alphabet, and the additive cost function is a log likelihood ratio pertaining to sequential information gain. We also consider the inverse optimal control problem, where a fixed encoder/decoder pair satisfying statistical conditions is shown to be optimal for some cost function, using probabilistic matching. We provide examples of the applicability of this framework to communication with feedback, hidden Markov models and the nonlinear filter, decentralized control, brain-machine interfaces, and queuing theory.

研究动机与目标

• 通过将控制理论与信息论相结合，为具有反馈的因果编码-解码系统中的序贯决策问题建立统一框架。
• 识别出最优策略存在于仅依赖于充分统计量的结构条件下，从而在一般字母表设置下实现可计算性。
• 通过概率匹配方法解决逆最优控制问题，表明任何满足统计一致性的编码器-解码器对，对于某个推导出的代价函数均为最优。
• 展示该框架在反馈通信、隐马尔可夫模型、非线性滤波、分布式控制和脑机接口中的适用性。
• 通过引入与时间无关的字母表和代价函数之和目标，推广经典率失真理论和分离定理。

提出的方法

• 使用动态规划推导出结构性结果：存在一种仅依赖于过去观测和动作的充分统计量的最优因果编码-解码策略。
• 引入基于对数似然比的代价函数，以量化序贯信息增益，特别是在信念空间解码中。
• 应用概率匹配方法解决逆最优控制问题，表明任何统计上一致的编码器-解码器对对于推导出的代价函数均为最优。
• 通过线性充分统计量和最小均方误差估计，为高斯过程推导出显式的平稳马尔可夫策略。
• 证明最优代价函数与解码器输出的条件分布与边缘分布之间的Kullback-Leibler散度成正比。
• 利用线性高斯模型，推导出最优策略和代价函数的闭式表达式，包括以系统方差表示的参数β和γ。

实验结果

研究问题

• RQ1 在何种条件下，存在一种仅依赖于过去观测和动作的充分统计量的最优因果编码-解码策略，适用于一般字母表和反馈？
• RQ2 如何求解逆最优控制问题，使得某个固定的编码器-解码器对对于某个代价函数为最优？
• RQ3 当解码器在源字母表上的信念上操作时，最优代价函数的结构是什么？
• RQ4 所推导出的最优策略和代价函数如何推广通信与滤波理论中的经典结果？
• RQ5 该框架在非线性滤波、分布式控制和脑机接口中有哪些应用方式？

主要发现

• 存在一种仅依赖于过去观测和动作的充分统计量的最优因果编码-解码策略，从而实现计算上的可处理性。
• 对于具有i.i.d.创新的高斯过程，最优编码器和解码器为线性且平稳，其增益具有闭式表达：β = √(L/C) 和 γ = βC/(L + σ²v)。
• 逆最优控制代价函数与解码器输出的条件分布和边缘分布之间的对数似然比成正比。
• 最优代价函数与平方估计误差之和以及包含预测误差的加权项成正比，权重取决于相关系数ρ和噪声方差。
• 所推导的代价函数确保线性平稳马尔可夫策略为最优，且通过Kullback-Leibler散度最小化验证了最优性条件。
• 该框架可推广至隐马尔可夫模型和非线性滤波，其中解码器输出空间表示对源的信念，代价函数编码序贯信息增益。