[论文解读] Deep Predictive Coding Networks

Rakesh Chalasani, José C. Prı́ncipe|arXiv (Cornell University)|Jan 16, 2013

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 33

一句话总结

本文提出深度预测编码网络（DPCN），一种分层生成模型，通过自顶向下的反馈动态调整潜在表征的先验，实现对时变信号的上下文敏感、稀疏特征提取。该方法提升了对结构化噪声的鲁棒性，并通过线性动态系统中稀疏状态的新型推理程序学习高层视觉特征，在视频数据上验证了其在噪声环境下对物体形状的优越聚类效果。

ABSTRACT

The quality of data representation in deep learning methods is directly related to the prior model imposed on the representations; however, generally used fixed priors are not capable of adjusting to the context in the data. To address this issue, we propose deep predictive coding networks, a hierarchical generative model that empirically alters priors on the latent representations in a dynamic and context-sensitive manner. This model captures the temporal dependencies in time-varying signals and uses top-down information to modulate the representation in lower layers. The centerpiece of our model is a novel procedure to infer sparse states of a dynamic model which is used for feature extraction. We also extend this feature extraction block to introduce a pooling function that captures locally invariant representations. When applied on a natural video data, we show that our method is able to learn high-level visual features. We also demonstrate the role of the top-down connections by showing the robustness of the proposed model to structured noise.

研究动机与目标

• 解决深度学习中固定先验无法适应数据上下文的局限性。
• 开发一种分层生成模型，基于上下文和时间信息经验性地调整先验。
• 利用自顶向下反馈提升在结构化噪声存在下的数据表征鲁棒性。
• 通过动态系统中新型推理程序，从视频序列中提取稀疏、局部不变特征。
• 通过贪婪、逐层无监督训练，实现适合物体识别等任务的高层视觉特征学习。

提出的方法

• 采用具有自顶向下与自底向上连接的广义状态空间模型，在分层马尔可夫架构中推断潜在状态。
• 使用新型推理程序从线性动态系统中提取稀疏状态，降低标准稀疏编码中常见的不稳定性。
• 引入一种池化函数，将连续的特征块组合以学习局部不变表征。
• 应用贪婪、逐层无监督学习，将特征提取模块堆叠为深层层次结构。
• 在推理过程中利用高层信息调制低层的先验，提升鲁棒性。
• 将模型构建为马尔可夫链，其中每一层的状态仅依赖于相邻层，确保高效推理。

实验结果

研究问题

• RQ1 深度生成模型能否基于上下文和时间数据动态调整潜在表征的先验？
• RQ2 自顶向下反馈在结构化噪声存在下如何提升特征表征的鲁棒性？
• RQ3 所提出的稀疏状态推理程序能否从时变视频序列中提取稳定、具有判别性的特征？
• RQ4 该分层结构在多大程度上能从原始视频输入中学习高层、抽象的视觉特征？
• RQ5 自顶向下调制的集成是否能增强在噪声视频序列中区分不同物体类别？

主要发现

• DPCN模型成功从自然视频序列中学习高层视觉特征，使顶层因果变量实现清晰的物体形状聚类。
• 仅使用自底向上推理时，模型在噪声视频序列中无法区分物体形状，散点图显示聚类重叠。
• 当引入自顶向下信息后，即使在强结构化噪声下，模型仍能实现三类物体形状的稳健分离，表现为清晰且不重叠的聚类。
• 顶层因果变量的时间一致性导致聚类间平滑过渡，表明表征学习具有稳定性和一致性。
• 自顶向下反馈的使用显著提升了模型从输入帧中区分真实物体与噪声伪影的能力。
• 所提出的稀疏状态推理程序相比标准稀疏编码降低了不稳定性，使动态环境中可靠特征提取成为可能。