[論文レビュー] Learning What and Where to Transfer

Yunhun Jang, Hankook Lee+2 more|arXiv (Cornell University)|May 15, 2019

Domain Adaptation and Few-Shot Learning被引用数 25

ひとこと要約

本論文では、異種のソースおよびターゲットネットワーク間で、どの特徴量と層を転送すべきかを自動で特定するメタラーニングベースの転移学習手法L2T-wwを提案する。メタネットワークを用いて動的転送重みを学習することで、手作業で設計されたベースラインを上回り、ImageNet事前学習を用いたCUB200では65.05%の精度を達成した。これは2番目に良いベースラインの58.90%を顕著に上回っている。

ABSTRACT

As the application of deep learning has expanded to real-world problems with insufficient volume of training data, transfer learning recently has gained much attention as means of improving the performance in such small-data regime. However, when existing methods are applied between heterogeneous architectures and tasks, it becomes more important to manage their detailed configurations and often requires exhaustive tuning on them for the desired performance. To address the issue, we propose a novel transfer learning approach based on meta-learning that can automatically learn what knowledge to transfer from the source network to where in the target network. Given source and target networks, we propose an efficient training scheme to learn meta-networks that decide (a) which pairs of layers between the source and target networks should be matched for knowledge transfer and (b) which features and how much knowledge from each feature should be transferred. We validate our meta-transfer approach against recent transfer learning methods on various datasets and network architectures, on which our automated scheme significantly outperforms the prior baselines that find "what and where to transfer" in a hand-crafted manner.

研究の動機と目的

• 異なるアーキテクチャとタスクを持つ異種の深層ニューラルネットワーク間での知識転送の課題に対処すること。
• 層のマッチングと特徴量の重要度を手作業で設計する必要がある従来の転移学習手法の限界を克服すること。
• 関連するソース特徴量とターゲットネットワーク内の最適な転送先を自動で適応的に選択するメカニズムを構築すること。
• タスクおよびアーキテクチャに適応した転送ルールを学習することで、低データ環境における有効な転移学習を可能にすること。
• 手動でのチューニングなしに、多様な事前学習済みモデルからの知識を自動で集約できるようにすること。

提案手法

• 各ソース層とターゲット層のペア、およびそれらの層内の各チャネルに対して、転送重みを同時に学習するメタネットワーク$f$と$g$を導入する。
• 内側ループで全訓練ではなく転送目的のみを最小化する、効率的なメタラーニングスキームを設計し、収束を高速化する。
• 1ステップの適応性能に基づくメタ目的関数を用いてメタネットワークを訓練することで、高速かつスケーラブルな最適化を実現する。
• メタネットワークが予測する重みを用いて、ソースとターゲットの特徴マップ間の重み付き特徴マッチングを実装し、タスク関連の特徴量を強調する。
• ターゲットネットワークとメタネットワークをエンドツーエンドで同時に訓練することで、人為的介入なしに最適な転送設定を学習可能にする。
• 知識蒸留と特徴マッチング損失を活用して転送プロセスをガイドし、各層およびチャネルの寄与度を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、特定のターゲットタスクに対して、どのソースネットワークの特徴量と層が最も関連性があるかを自動で同定できるか？
• RQ2 手作業で設計された固定された層およびチャネルマッチングと比較して、自動的かつ動的である転送重み付けは、異種転移学習においてどのように性能を発揮するか？
• RQ3 従来の微調整が失敗する低データ環境において、提案手法はどの程度性能を向上させられるか？
• RQ4 手動での設定なしに、複数の異種ソースモデルからの知識を効果的に集約できるか？
• RQ5 学習された転送メカニズムは、サリエンシーマップの証拠によって示されるように、タスク固有の特徴活性化を改善するか？

主な発見

• ImageNet事前学習を用いたCUB200データセットでは、L2T-wwは65.05%の精度を達成し、2番目に良いベースライン（LwF+AT）の58.90%を6.15ポイントも上回った。
• 1クラスあたり50サンプルの極めて少ないデータ環境でも、L2T-wwは64.91%の精度を達成し、250サンプル/クラスで学習したLwFの53.76%を11ポイント以上上回った。
• すべての低データ設定（$N \in \{50,100,250,500,1000\}$）において顕著に性能向上を示し、少サンプル学習におけるロバスト性を実証した。
• マルチソース転移において、TinyImageNet + CIFAR-10などの異種ソースを組み合わせた場合でも、L2T-wwは一貫してベースラインを上回り、効果的な知識集約を示した。
• サリエンシーマップの可視化により、L2T-wwは背景ノイズを抑制し、タスク関連の特徴（例：鳥、犬）を強調していることが確認され、特徴選別性の向上が示された。
• 提案された1ステップ適応メタラーニングスキームにより、内側ループの計算時間が短縮され、ターゲットモデルとメタネットワークの効率的かつ共同訓練が可能になった。