[论文解读] Convolutional Networks with Adaptive Computation Graphs.

Andreas Veit, Serge Belongie|arXiv (Cornell University)|Nov 30, 2017

Adversarial Robustness in Machine Learning参考文献 25被引用 21

一句话总结

该论文提出 Adanets，一种具有自适应计算图的卷积网络家族，通过可学习的门控函数动态跳过层，实现高效计算并提升高层特征提取的专用性。在 ImageNet 上，Adanet 50 的 top-5 错误率为 7.94%，FLOPs 比 ResNet 34 减少 30%，同时对对抗性样本表现出更强的鲁棒性。

ABSTRACT

Do convolutional networks really need a fixed feed-forward structure? Often, a neural network is already confident after a few layers about the high-level concept shown in the image. However, due to the fixed network structure, all remaining layers still need to be evaluated. What if the network could jump right to a layer that is specialized in fine-grained differences of the image's content? In this work, we propose Adanets, a family of convolutional networks with adaptive computation graphs. Following a high-level structure similar to residual networks (Resnets), the key difference is that for each layer a gating function determines whether to execute the layer or move on to the next one. In experiments on CIFAR-10 and ImageNet we demonstrate that Adanets efficiently allocate computational budget among layers and learn distinct layers specializing in similar categories. Adanet 50 achieves a top 5 error rate of 7.94% on ImageNet using 30% fewer computations than Resnet 34, which only achieves 8.58%. Lastly, we study the effect of adaptive computation graphs on the susceptibility towards adversarial examples. We observe that Adanets show a higher robustness towards adversarial attacks, complementing other defenses such as JPEG compression.

研究动机与目标

• 解决固定深度卷积网络即使在置信度高时也处理所有层所导致的计算低效问题。
• 通过基于输入特定置信度的层跳过机制，实现动态计算。
• 探究自适应计算图是否能提升模型效率与鲁棒性。
• 研究在自适应路由下，是否会出现针对相似图像类别而专门化的层。
• 评估自适应计算对模型对抗样本敏感性的影响。

提出的方法

• Adanets 采用类似残差的架构，其中每一层后均连接一个可微分的门控函数。
• 门控函数根据输入特征图计算跳过当前层的概率。
• 推理阶段，若门控输出超过阈值，则跳过该层，网络继续处理下一层。
• 通过标准反向传播端到端训练网络，门控函数保持可微分。
• 每一层均被设计为专门区分相似图像类别之间的细微差异。
• 自适应路由使网络能根据输入复杂度更高效地分配计算资源。

实验结果

研究问题

• RQ1 自适应计算图是否能在不损失图像分类精度的前提下减少 FLOPs？
• RQ2 自适应网络是否能为相似图像类别学习到专门化的层？
• RQ3 自适应计算如何影响模型对对抗性样本的鲁棒性？
• RQ4 门控机制是否能实现高置信度预测的早期退出，从而提升推理效率？
• RQ5 与固定结构网络相比，动态路由是否能带来更高效且更鲁棒的模型？

主要发现

• Adanet 50 在 ImageNet 上的 top-5 错误率为 7.94%，优于 FLOPs 更高的 ResNet 34（错误率为 8.58%）。
• Adanet 50 的 FLOPs 比 ResNet 34 减少 30%，同时实现更高精度。
• 网络学习到具有区分性的专用层，能够处理相似图像类别之间的细微差异。
• 自适应计算图提升了对对抗攻击的鲁棒性，表现出比标准网络更强的抗性。
• 自适应机制使高置信度样本可实现早期退出，降低简单样本的计算量。
• Adanets 可与现有防御方法（如 JPEG 压缩）结合，进一步增强对抗鲁棒性。