[論文レビュー] What is being transferred in transfer learning?

Behnam Neyshabur, Hanie Sedghi+1 more|arXiv (Cornell University)|Aug 26, 2020

Interpreting and Communication in Healthcare参考文献 45被引用数 195

ひとこと要約

この論文は、事前訓練済みモデルのどの要素が多様なターゲットドメイン間の転移を可能にするかを調査し、特徴再利用と低レベル統計を区別し、損失景観の盆地とモジュール感度を分析します。

ABSTRACT

One desired capability for machines is the ability to transfer their knowledge of one domain to another where data is (usually) scarce. Despite ample adaptation of transfer learning in various deep learning applications, we yet do not understand what enables a successful transfer and which part of the network is responsible for that. In this paper, we provide new tools and analyses to address these fundamental questions. Through a series of analyses on transferring to block-shuffled images, we separate the effect of feature reuse from learning low-level statistics of data and show that some benefit of transfer learning comes from the latter. We present that when training from pre-trained weights, the model stays in the same basin in the loss landscape and different instances of such model are similar in feature space and close in parameter space.

研究の動機と目的

• ソースドメインとターゲットドメイン間での成功した転移を可能にする要因を理解する。
• 転移性能における特徴再利用と低レベルデータ統計の役割を定量化する。
• 事前訓練ウェイトから学習したモデルとランダム初期化モデルの類似性を特徴空間で特徴付ける。
• ネットワークモジュールが転移と頑健性にどのように寄与するかを同定する。
• 事前訓練済みチェックポイントからのファインチューニングの実用的影響を示す。

提案手法

• 特徴再利用を低レベル統計から分離するために下流の画像ブロックをシャッフルする。
• 複数のターゲットドメインにおいて事前訓練済み初期化モデル（P）とランダム初期化モデル（RI）を比較する。
• 層間の特徴類似性を測定するために中心カーネル整合（CKA）を用いる。
• モデルインスタンス間のパラメータ空間距離（L2）を分析する。
• モデルパラメータ間を補間して損失景観の盆地と障壁を調べる。
• モジュールのクリティカリティを定義し、摂動に対する層ごとの感度を評価する。

実験結果

リサーチクエスチョン

• RQ1 転移利得のうち、学習済み特徴の再利用と低レベル統計の活用の割合はどのくらいか？
• RQ2 新しいドメインへ転移する際、事前訓練済みモデルとランダム初期化モデルは特徴空間、パラメータ空間、損失景観でどう異なるか？
• RQ3 どのネットワークモジュールが一般的な転移とタスク特化的転移の挙動を担っているか？
• RQ4 以前の事前訓練チェックポイントからファインチューニングしてもターゲットドメインの精度を損なうことなく維持できるか？
• RQ5 転移時に事前訓練済みモデルとランダム初期化モデルは同じ損失盆地に存在するか？

主な発見

• 特徴再利用は重要だが唯一の要因ではなく、低レベル統計も転移利益に寄与し、特に最適化の速度に影響する。
• 二つの事前訓練済みモデルインスタンスは同様のミスを犯し、乱数初期化ペアよりパラメータ空間の近接と特徴類似性が大きい。
• 事前訓練済みモデルは同じ平坦な損失盆地に存在するが、ランダム初期化モデルは解の間に障壁を示す。
• 下位のネットワーク層は一般的な特徴をエンコードする傾向があり、高位の層は摂動により敏感である。
• 事前訓練ウェイトから初期化されたモデルは、以前のチェックポイントからファインチューニングしてもターゲットドメインの精度を失わずに維持できる。