[論文レビュー] AdaFilter: Adaptive Filter Fine-tuning for Deep Transfer Learning

Yunhui Guo, Yandong Li+2 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 5

ひとこと要約

AdaFilterは、入力ごとに選択的に微調整する畳み込みフィルタのサブセットを最適化する再帰的ゲートネットワークを用いる、トランスファーラーニングのための新しい適応的微調整手法である。入力活性化に基づいて動的にどのフィルタを微調整するかを選択することで、過学習を軽減し、精度を向上させ、7つの画像分類データセット全体で標準的な微調整と比較して平均2.54%の誤差低減を達成した。

ABSTRACT

There is an increasing number of pre-trained deep neural network models. However, it is still unclear how to effectively use these models for a new task. Transfer learning, which aims to transfer knowledge from source tasks to a target task, is an effective solution to this problem. Fine-tuning is a popular transfer learning technique for deep neural networks where a few rounds of training are applied to the parameters of a pre-trained model to adapt them to a new task. Despite its popularity, in this paper, we show that fine-tuning suffers from several drawbacks. We propose an adaptive fine-tuning approach, called AdaFilter, which selects only a part of the convolutional filters in the pre-trained model to optimize on a per-example basis. We use a recurrent gated network to selectively fine-tune convolutional filters based on the activations of the previous layer. We experiment with 7 public image classification datasets and the results show that AdaFilter can reduce the average classification error of the standard fine-tuning by 2.54%.

研究の動機と目的

• 標準的な微調整には、すべての例に同じ更新方針を適用するという限界があり、小規模なターゲットデータセットでは過学習のリスクがあるため、これを是正すること。
• ターゲットデータセット内の異なる例が、異なるセットの事前学習済みフィルタを微調整できるようにすることで、より効果的な知識の転送を可能にすること。
• 知的なフィルタ再利用を通じて、1例あたりの学習可能なパラメータ数を減らし、低データ環境における過学習を緩和すること。
• 層間の依存関係をモデル化できる、軽量で効率的なポリシーネットワークを構築すること。
• 入力ごとに変化する適応的微調整方針を学習することで、一般化性能と学習効率を向上させること。

提案手法

• AdaFilterは、前の層の活性化に条件付けられた再帰的ゲートネットワークを採用しており、層ごとで例に特化した微調整対象フィルタの選択を可能にしている。
• 本手法は、ソースタスクとターゲットタスクの間でドメインシフトを反映するため、事前学習済みと微調整済みの特徴マップを別々に正規化するゲート付きバッチ正規化層を導入している。
• フィルタ選択は、各フィルタごとにバイナリマスクを出力する学習可能なゲートメカニズムによって行われ、それが再利用されるか更新されるかを決定する。
• 再帰構造により、層をまたがる隠れ状態を維持することで、特徴表現およびフィルタの重要度に関する階層的依存関係をモデル化できる。
• ポリシーネットワークは、バックボーンモデルと同時に、標準的な誤差逆伝播法を用いてエンドツーエンドで学習され、ゲートネットワークが1例あたりどのフィルタを更新するかを指揮する。
• 本手法は、1例あたりの有効パラメータ数を減らすことで、効率的な微調整を実現し、小規模データセットにおける過学習を軽減する。

実験結果

リサーチクエスチョン

• RQ1 例ごとに適応的フィルタ選択が、標準的な微調整と比較してトランスファーラーニング性能を向上させるか？
• RQ2 入力固有の活性化に基づいて微調整対象のフィルタを動的に選択することで、小規模なターゲットデータセットにおける一般化性能が向上するか？
• RQ3 ポリシー生成に再帰的ゲートネットワークを用いる場合とCNNベースの代替手法を比較した場合、精度およびパラメータ効率の面でどの程度差が生じるか？
• RQ4 ゲート付きバッチ正規化を用いることで、事前学習済み特徴とターゲット特徴の分布の違いを考慮し、性能がどの程度向上するか？
• RQ5 適応的微調整が、訓練プロセス全体を通じて一貫して標準的な微調整を上回るか？

主な発見

• AdaFilterは、7つの公開画像分類データセット全体で、標準的な微調整と比較して平均2.54%の分類誤差低減を達成した。
• 本手法は、訓練の各エポックで一貫して標準的な微調整を上回り、より効率的な知識転送と優れた最適化ダイナミクスを示している。
• ゲート付きバッチ正規化は、事前学習済みと微調整済みの特徴マップを別々に正規化することで、標準的なバッチ正規化を上回る精度向上をもたらし、一部のデータセットでは最大0.42%の向上を達成した。
• 再帰的ゲートネットワークは、CNNベースのポリシーネットワークを上回り、軽量で逐次的な設計のおかげで、より高い精度と顕著に少ないパラメータ数を達成した。
• Caltech256-30およびCaltech256-60では、ポリシーネットワークの結果から、初期層ではより多くのフィルタが再利用され、深層側ではより多くのフィルタが微調整されていることが示され、直感的なタスク固有の適応を反映している。
• アブレーションスタディにより、再帰的ゲートメカニズムとゲート付きバッチ正規化の両方が、本手法の優れた性能を支える重要な構成要素であることが確認された。