[论文解读] Information loss in an optimal maximum likelihood decoding

Inés Samengo|ArXiv.org|Oct 26, 2001

Neural dynamics and brain function参考文献 15被引用 5

一句话总结

该论文通过将解码过程建模为联合刺激-响应概率的伪畸变，量化了最优最大似然解码中的信息损失。结果表明，对于小畸变，信息损失与畸变幅度的平方成正比，损失程度通过真实分布与畸变分布之间的Kullback-Leibler散度来量化；当每类解码中的响应似然性成比例时，可实现精确解码。

ABSTRACT

The mutual information between a set of stimuli and the elicited neural responses is compared to the corresponding decoded information. The decoding procedure is presented as an artificial distortion of the joint probabilities between stimuli and responses. The information loss is quantified. Whenever the probabilities are only slightly distorted, the information loss is shown to be quadratic in the distortion

研究动机与目标

• 正式量化使用最大似然估计解码神经响应时发生的信息损失。
• 将解码过程建模为真实联合概率分布 P(r,s) 的人为畸变。
• 推导真实互信息 I 与解码互信息 ID 之间差值的一般表达式。
• 确定信息损失最小化或为零的条件，特别是在小畸变极限下。
• 为评估神经编码研究中解码信息的可靠性提供一个框架。

提出的方法

• 将解码过程建模为从响应 r 到预测刺激 s′ 的变换，从而在响应空间 R 上形成对 s′ 的类 C(s′) 划分。
• 将解码信息 ID 定义为刺激 S 与解码响应 S′ 之间的互信息，使用畸变后的联合概率分布。
• 将差值 I − ID 表示为真实与畸变联合分布之间的 Kullback-Leibler 散度。
• 对畸变 Δ(r,s) 和 Δ(r) 的信息差值进行二阶泰勒展开，得到一个二次近似。
• 推导出误差函数 E(s′,s)，用于量化每个解码类内真实响应似然性与其均匀平均值的偏离程度。
• 证明当在每个类 C(s′) 内，对所有 s，比值 P(r|s)/P(r) 在 r 上为常数时，可实现精确解码（I = ID），且该条件与 s 无关。

实验结果

研究问题

• RQ1 使用最大似然解码从神经响应推断刺激时，会损失多少信息？
• RQ2 在何种条件下，解码信息 ID 等于真实互信息 I？
• RQ3 对于响应概率中的小畸变，信息损失 I − ID 的函数形式是什么？
• RQ4 每个解码类内响应分布的结构如何影响信息损失的大小？
• RQ5 能否通过联合概率的微扰展开，对信息损失进行解析量化？

主要发现

• 信息损失 I − ID 始终非负，且等于真实与畸变联合概率分布之间的 Kullback-Leibler 散度。
• 对于小畸变，信息损失在畸变参数 Δ(r,s) 和 Δ(r) 上呈二次关系，如二阶泰勒展开所示。
• 当在每个解码类 C(s′) 内，对所有 s，比值 P(r|s)/P(r) 在 r 上为常数时，可实现精确解码（I = ID），意味着似然性成比例。
• 信息损失的大小由函数 E(s′,s) 决定，该函数衡量了在 C(s′) 上真实 P(r,s) 和 P(r) 与其均匀平均值的偏离程度。
• 所推导的信息损失表达式具有普遍性，不依赖于短时间窗或特定响应分布的假设。
• 该框架可对最优解码即使在完美执行时所牺牲的信息量进行系统性评估。