[论文解读] CortexNet: a Generic Network Family for Robust Visual Temporal Representations

Alfredo Canziani, Eugenio Culurciello|arXiv (Cornell University)|Jun 8, 2017

Visual Attention and Saliency Detection参考文献 17被引用 12

一句话总结

CortexNet 是一种受人类视觉皮层启发的新型深度神经网络家族，通过引入自下而上的前向传播、自上而下的反馈以及侧向连接，从视频中学习鲁棒的时序视觉表征。它采用无监督的 MatchNet 和弱监督的 TempoNet 训练方式，实现未来帧预测与目标跟踪，从而在时间扰动和对抗性噪声下实现稳定、注意力引导的视频预测，显著提升了鲁棒性。

ABSTRACT

In the past five years we have observed the rise of incredibly well performing feed-forward neural networks trained supervisedly for vision related tasks. These models have achieved super-human performance on object recognition, localisation, and detection in still images. However, there is a need to identify the best strategy to employ these networks with temporal visual inputs and obtain a robust and stable representation of video data. Inspired by the human visual system, we propose a deep neural network family, CortexNet, which features not only bottom-up feed-forward connections, but also it models the abundant top-down feedback and lateral connections, which are present in our visual cortex. We introduce two training schemes - the unsupervised MatchNet and weakly supervised TempoNet modes - where a network learns how to correctly anticipate a subsequent frame in a video clip or the identity of its predominant subject, by learning egomotion clues and how to automatically track several objects in the current scene. Find the project website at https://engineering.purdue.edu/elab/CortexNet/.

研究动机与目标

• 开发一种模仿人类视觉皮层反馈与侧向连接机制的深度神经网络架构，以提升时序视频理解能力。
• 通过引入延迟反馈和注意力调制等生物上合理的机制，解决前馈网络在视频任务中的不稳定性问题。
• 在无需大规模标注数据集的情况下，利用无监督或弱监督训练实现鲁棒的视频表征学习。
• 探究端到端训练结合时序一致性是否能生成稳定、可预测且具备注意力感知的视频表征。
• 证明反馈与侧向连接可增强模型对对抗性噪声和时间扰动的鲁棒性。

提出的方法

• CortexNet 采用堆叠残差块的深度架构，结合自下而上的前向传播路径、自上而下的延迟调制反馈以及受预测编码启发的侧向连接。
• 网络通过步长大于1的卷积、非线性激活函数以及信号的加法融合，直接在像素空间中处理时空输入。
• 引入两种训练模式：MatchNet 用于无监督的下一帧预测，通过视频索引匹配实现；TempoNet 用于弱监督的对象身份预测，通过时间反向传播（BPTT）实现。
• 训练目标结合像素级重建损失（Lπ）、时序一致性损失（Lτ）和正则化项（Lμ），并通过超参数调优确保稳定性。
• 采用显著性高亮算法可视化动态注意力区域，展示网络在预测过程中随时间聚焦的位置。
• 模型在类似 ImageNet 的数据上进行预训练，并在 e-VDS35 视频数据集上使用 35 类分类头进行端到端微调。

实验结果

研究问题

• RQ1 具有反馈与侧向连接的深度神经网络是否能比标准前馈网络学习到更鲁棒、更稳定的时序视觉输入表征？
• RQ2 在视频时序一致性上进行无监督训练，是否能实现有效的下一帧预测与目标跟踪，而无需强监督？
• RQ3 使用稀疏标签（如视频索引或对象类别）的弱监督训练，是否能实现稳定、注意力引导的视频预测？
• RQ4 自上而下的反馈与侧向连接在注意力机制形成及对时间扰动的鲁棒性方面发挥何种作用？
• RQ5 该网络的内部表征在多大程度上类似于生物视觉处理机制，特别是在目标跟踪与运动补偿方面？

主要发现

• CortexNet 在 TempoNet 模式下实现了稳定的下一帧预测，验证集均方误差（MSE）为 14.2 mMSE，显著优于基线前馈模型。
• 网络发展出一种内部注意力机制，能动态聚焦于场景中的主要对象，通过显著性高亮算法可视化得以验证。
• 即使在时间扰动下，完整版 CortexNet 模型仍能保持一致的预测结果，而仅使用判别分支的模型则出现闪烁输出。
• 模型在简单输入匹配任务上的表现（Lπ ≈ 6.88 nit）表明，未来帧预测主要由低层（Dn, Gn）对实现，暗示了分层特征学习的存在。
• 反馈与侧向连接的引入使表征更加鲁棒稳定，显著降低了对对抗性噪声和视频流中运动伪影的敏感性。
• 使用 35 类分类头与时序一致性损失进行微调，提升了泛化能力，证明了弱监督在视频理解中的有效性。