[論文レビュー] Deep Model Transferability from Attribution Maps

Jie Song, Yixin Chen+3 more|arXiv (Cornell University)|Sep 26, 2019

Domain Adaptation and Few-Shot Learning被引用数 19

ひとこと要約

本稿では、アトリビューションマップの距離に基づいて事前学習済みネットワークをモデル空間に投影することで、アノテーションを不要とする軽量な深層モデルの転移可能性推定手法を提案する。タスクノミーとは異なり、大量の教師あり学習を必要とせず、ラベルなしデータとアトリビューションマップを用いて数秒で転移可能性を計算可能であり、タスクノミーと同等の転移可能性トポロジーを維持しながら、数個のオーダーの高速化を達成する。

ABSTRACT

Exploring the transferability between heterogeneous tasks sheds light on their intrinsic interconnections, and consequently enables knowledge transfer from one task to another so as to reduce the training effort of the latter. In this paper, we propose an embarrassingly simple yet very efficacious approach to estimating the transferability of deep networks, especially those handling vision tasks. Unlike the seminal work of taskonomy that relies on a large number of annotations as supervision and is thus computationally cumbersome, the proposed approach requires no human annotations and imposes no constraints on the architectures of the networks. This is achieved, specifically, via projecting deep networks into a model space, wherein each network is treated as a point and the distances between two points are measured by deviations of their produced attribution maps. The proposed approach is several-magnitude times faster than taskonomy, and meanwhile preserves a task-wise topological structure highly similar to the one obtained by taskonomy. Code is available at https://github.com/zju-vipa/TransferbilityFromAttributionMaps.

研究の動機と目的

• 人為的アノテーションデータに依存しないスケーラブルで効率的な深層学習モデル間の転移可能性推定手法の開発。
• 特にコンピュータビジョン分野において、異種アーキテクチャやタスク間での転移可能性推定の実現。
• タスクノミーのような従来手法が要する大量のトレーニングと監視を回避し、計算負荷の低減。
• 頻繁な挿入や更新が行われる動的モデルライブラリを支えるために、近隣探索ベースの高速な転移可能性計算の実現。
• アトリビューションマップがモデル類似性および転移可能性の信頼できる代理指標として機能することの検証。

提案手法

• 事前学習済みの深層ネットワークを、各ネットワークが点として表現される共有モデル空間に投影する。
• プローブデータセットからのラベルなし入力画像を用いて、各モデルのアトリビューションマップを計算する。
• モデル空間における距離を、アトリビューションマップ差分のL2ノルムとして測定する。
• この距離を、類似した注目パターンがより高い転移可能性を示すと仮定し、転移可能性の代理指標とする。
• 再トレーニングやアーキテクチャ制約なしに、異種アーキテクチャやタスクをサポートする。
• 再トレーニングを回避するため、モデル空間における最近傍探索により、効率的なモデル挿入・更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アトリビューションマップは、深層モデル間の転移可能性を測定する有効かつ効率的な代理指標として機能するか？
• RQ2 本手法は、タスクノミーと比較して、転移可能性トポロジーの正確性と計算効率の両面で優れているか？
• RQ3 本手法は、タスクノミーのベンチマークを越えて、異なるアーキテクチャや入力サイズを持つモデルにも一般化可能か？
• RQ4 プローブデータセットやアトリビューション手法の選択に依存して、本手法の性能が不安定になることはないか？
• RQ5 本手法は、頻繁な更新や挿入が行われる動的モデルライブラリを支えるモデル空間を提供できるか？

主な発見

• 提案手法は、タスクノミーと非常に類似した転移可能性トポロジーを達成しており、タスクノミーベンチマーク上での相関係数は0.93に達する。
• 本手法はタスクノミーと比較して数個のオーダー高速であり、再トレーニングなしでほぼ即時の転移可能性推定が可能になる。
• COCOやインDoorシーンデータをプローブセットとして用いることで、タスクノミー自身が使用するプローブデータよりも優れた転移可能性推定が得られる。これは、より豊富なテクスチャの複雑さに起因すると考えられる。
• 勾配×入力およびε-LRPアトリビューション手法を用いる場合、SVCCAと同等またはそれ以上の性能を示し、特にその分野で優れた結果を達成する。
• 同じタスクで学習されたモデルでさえ、アーキテクチャやデータドメインが異なっていても、モデル空間上でクラスタを形成する。これは一貫した注目パターンを示している。
• ImageNetで学習された分類モデルは、アーキテクチャにかかわらず、きついクラスタを形成する。これは表現学習における共通のインダクティブバイアスが存在することを示唆している。