[论文解读] Improving Anytime Prediction with Parallel Cascaded Networks and a Temporal-Difference Loss

Michael L. Iuzzolino, Michael C. Mozer+1 more|arXiv (Cornell University)|Feb 19, 2021

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出一种级联残差网络架构，通过引入并行、有状态的更新机制与传播延迟，实现任意时间预测——即输出随时间推移逐步提升准确性。该方法引入一种 λ < 1 的时序差分（TD）损失，显著优化了速度-精度权衡，通过利用动态输出轨迹实现更优的推理性能与鲁棒性，优于当前最先进的任意时间预测方法。

ABSTRACT

Although deep feedforward neural networks share some characteristics with the primate visual system, a key distinction is their dynamics. Deep nets typically operate in serial stages wherein each layer completes its computation before processing begins in subsequent layers. In contrast, biological systems have cascaded dynamics: information propagates from neurons at all layers in parallel but transmission occurs gradually over time, leading to speed-accuracy trade offs even in feedforward architectures. We explore the consequences of biologically inspired parallel hardware by constructing cascaded ResNets in which each residual block has propagation delays but all blocks update in parallel in a stateful manner. Because information transmitted through skip connections avoids delays, the functional depth of the architecture increases over time, yielding anytime predictions that improve with internal-processing time. We introduce a temporal-difference training loss that achieves a strictly superior speed-accuracy profile over standard losses and enables the cascaded architecture to outperform state-of-the-art anytime-prediction methods. The cascaded architecture has intriguing properties, including: it classifies typical instances more rapidly than atypical instances; it is more robust to both persistent and transient noise than is a conventional ResNet; and its time-varying output trace provides a signal that can be exploited to improve information processing and inference.

研究动机与目标

• 探索生物启发的并行硬件与传输延迟在深度神经网络中的计算影响。
• 通过建模类似灵长类皮层处理的级联动力学，解决串行、逐层深度网络的局限性。
• 通过一种新型训练目标，利用时序动态特性，提升任意时间预测性能。
• 证明具有时序差分损失的级联网络在准确率与鲁棒性方面优于现有任意时间预测方法。
• 表明级联模型的时间可变输出轨迹可为下游任务（如分布外检测）提供可利用的信息。

提出的方法

• 通过在每个残差块中引入传播延迟，构建级联残差网络，同时实现所有块的并行、有状态更新。
• 利用跳跃连接加速早期特征的传递，使功能深度随时间增加，支持任意时间预测。
• 应用 λ < 1 的时序差分（TD）损失进行网络训练，优化中间预测结果而非仅最终输出。
• 采用时间展开的、有状态的推理过程，其中每个模块的输出随时间演化，基于前序模块的延迟输入。
• 将模型在每个时间步的输出表示为最大 softmax、熵、类别后验概率或 logits，用于下游任务（如 OOD 检测）。
• 在 CIFAR-10、ImageNet、LSUN 和 SVHN 上验证该方法，使用 AUROC 和 FPR@95%TPR 评估基于时间轨迹的 OOD 检测性能。

实验结果

研究问题

• RQ1 与标准串行残差网络相比，具有并行更新与传播延迟的级联动力学是否能提升任意时间预测性能？
• RQ2 与标准交叉熵损失或 λ=1 的 TD 损失相比，λ < 1 的时序差分损失是否能实现更优的速度-精度权衡？
• RQ3 级联网络的时间可变输出轨迹是否能为下游任务（如分布外检测）提供额外信息？
• RQ4 与传统残差网络相比，该级联架构在处理噪声和异常输入时表现如何？
• RQ5 级联网络的动态特性（如对典型样本的更快分类）在多大程度上源于其架构与训练方式？

主要发现

• 具有 TD(λ) 损失的级联残差网络在速度-精度权衡上严格优于当前最先进的任意时间预测方法。
• 该模型对典型（原型）样本的分类速度明显快于异常或离群样本，反映出从粗到细的语义处理过程。
• 由于其动态、随时间演化的推理过程，该级联架构在面对持续性与瞬时性噪声时，比标准残差网络更具鲁棒性。
• 级联模型的时间输出轨迹为分布外检测提供了有价值的信号，相比仅使用最终渐近输出，显著提升了 AUROC 并降低了 FPR@95%TPR。
• 在 TD 损失中使用 λ < 1 的训练策略优于 λ = 1，表明中间监督能有效提升表征学习与预测质量。
• 级联模型的动态特性使推理能力超越最终输出，表明时间可变输出可被有效利用以增强信息处理能力。