[论文解读] Deep Model Transferability from Attribution Maps

Jie Song, Yixin Chen+3 more|arXiv (Cornell University)|Sep 26, 2019

Domain Adaptation and Few-Shot Learning被引用 19

一句话总结

本文提出一种轻量级、无需标注数据的方法，通过基于显著图距离的模型空间投影来估计深度模型的可迁移性。与需要大量有监督训练的Taskonomy不同，该方法仅使用无标签数据和显著图，可在数秒内完成可迁移性计算，速度提升数个数量级，同时保持与Taskonomy相似的可迁移性拓扑结构。

ABSTRACT

Exploring the transferability between heterogeneous tasks sheds light on their intrinsic interconnections, and consequently enables knowledge transfer from one task to another so as to reduce the training effort of the latter. In this paper, we propose an embarrassingly simple yet very efficacious approach to estimating the transferability of deep networks, especially those handling vision tasks. Unlike the seminal work of taskonomy that relies on a large number of annotations as supervision and is thus computationally cumbersome, the proposed approach requires no human annotations and imposes no constraints on the architectures of the networks. This is achieved, specifically, via projecting deep networks into a model space, wherein each network is treated as a point and the distances between two points are measured by deviations of their produced attribution maps. The proposed approach is several-magnitude times faster than taskonomy, and meanwhile preserves a task-wise topological structure highly similar to the one obtained by taskonomy. Code is available at https://github.com/zju-vipa/TransferbilityFromAttributionMaps.

研究动机与目标

• 开发一种可扩展且高效的无须人工标注数据的深度学习模型间可迁移性估计方法。
• 实现在计算机视觉领域内异构架构与任务间的可迁移性估计。
• 降低现有方法（如Taskonomy）的计算负担，后者需要大量训练和监督。
• 通过支持基于最近邻搜索的快速可迁移性计算，实现对频繁插入或更新的动态模型库的支持。
• 验证显著图可作为模型相似性和可迁移性的可靠代理。

提出的方法

• 将预训练的深度神经网络投影到共享模型空间中，每个网络在该空间中表示为一个点。
• 使用探测数据集中的无标签输入图像为每个模型计算显著图。
• 将模型空间中模型之间的距离定义为显著图差异的L2范数。
• 将此距离用作可迁移性的代理，假设相似的关注模式意味着更高的可迁移潜力。
• 无需架构约束或微调，支持异构架构与任务。
• 通过在模型空间中进行最近邻搜索，实现高效模型插入/更新，避免重新训练所有成对可迁移性。

实验结果

研究问题

• RQ1 显著图能否作为衡量深度模型间可迁移性的有效且高效代理？
• RQ2 与Taskonomy相比，该方法在可迁移性拓扑准确性和计算效率方面表现如何？
• RQ3 该方法是否能泛化到Taskonomy基准之外的模型，包括不同架构和输入尺寸的模型？
• RQ4 该方法对探测数据集选择和显著图方法变化的鲁棒性如何？
• RQ5 该模型空间能否支持频繁更新或插入的动态模型库？

主要发现

• 所提方法在Taskonomy基准上获得与Taskonomy高度相似的可迁移性拓扑，相关系数达0.93。
• 该方法比Taskonomy快数个数量级，可在无需微调的情况下实现近乎即时的可迁移性估计。
• 使用COCO或室内场景数据作为探测集，其可迁移性估计效果优于Taskonomy自身使用的探测数据，可能归因于更丰富的纹理复杂度。
• 在使用梯度×输入和ε-LRP显著图方法时，该方法在可迁移性估计上表现与SVCCA相当或更优。
• 即使架构或数据领域不同，同一任务上训练的模型在模型空间中聚类在一起，表明其具有稳定的关注模式。
• 无论架构如何，ImageNet预训练的分类模型形成紧密聚类，表明表示学习中存在共享的归纳偏置。