[論文レビュー] Gradual Tuning: a better way of Fine Tuning the parameters of a Deep Neural Network

Guglielmo Montone, J. Kevin Ο’Regan+1 more|arXiv (Cornell University)|Nov 28, 2017

Neural Networks and Applications参考文献 4被引用数 5

ひとこと要約

この論文では、出力から順に段階的にネットワーク層を更新する微調整手法であるGradual Tuningを紹介している。この手法は、転移学習中の深刻な忘却を顕著に軽減する一方で、新しいタスクでの性能を維持または向上させる。標準的な微調整とは異なり、突然のパラメータ更新を避けることで、初期タスクの特徴をよりよく保持する。

ABSTRACT

In this paper we present an alternative strategy for fine-tuning the parameters of a network. We named the technique Gradual Tuning. Once trained on a first task, the network is fine-tuned on a second task by modifying a progressively larger set of the network's parameters. We test Gradual Tuning on different transfer learning tasks, using networks of different sizes trained with different regularization techniques. The result shows that compared to the usual fine tuning, our approach significantly reduces catastrophic forgetting of the initial task, while still retaining comparable if not better performance on the new task.

研究の動機と目的

• 新しいタスクの微調整によって、事前に学習したタスクの性能が低下する、転移学習における深刻な忘却を解消すること。
• 段階的で層ごとのパラメータ更新戦略が、新しいタスクでの性能を維持しつつ忘却を軽減できるかどうかを検討すること。
• 類似したタスクと異なるタスクを含む多様な転移学習シナリオにおいて、Gradual Tuningと標準的な微調整を比較すること。
• 初期特徴の質とマルチタスク事前学習が、Gradual Tuningの有効性に与える影響を評価すること。

提案手法

• Gradual Tuningは、タスクAで事前学習されたネットワークを初期化し、タスクB用に新しい出力層を追加する。この出力層の重みはランダムに初期化される。
• タスクBの学習は、最初は出力層のみを更新することで開始する。性能が収束すると、その隣接する隠れ層を更新可能に切り替える。
• このプロセスを順次、入力側に向かって層を一つずつ進め、すべての層が更新可能になるまで繰り返す。
• この方法は、標準的な微調整とは対照的であり、標準的な微調整は初期段階からすべてのパラメータを同時に更新する。
• 実験では、MNISTおよび合成二値分類タスクで、さまざまなアーキテクチャと正則化（L1、ドロップアウト、正則化なし）を用いた順伝播ネットワークを用いる。
• 複数回の実行とハイパーパramータ設定を想定し、タスクA（忘却）およびタスクB（学習）の両方で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 転移学習において、標準的な微調整と比較して、Gradual Tuningは深刻な忘却を軽減するか？
• RQ2 Gradual Tuningと標準的な微調整の間で、新しいタスク（タスクB）における性能はどのように異なるか？
• RQ3 Gradual Tuningの有効性は、タスクAとタスクBの類似性に依存するか？
• RQ4 複数の初期タスクで事前学習することで、忘却量とGradual Tuningの利点にどのような影響が生じるか？
• RQ5 Gradual Tuningは、より良い初期タスク特徴を保持することで、性能の維持が向上するか？

主な発見

• すべての実験において、Gradual Tuningは深刻な忘却を顕著に軽減し、標準的な微調整と比較して忘却が1.5〜5倍まで減少した。
• MNISTタスク（0〜4の数字 vs. 5〜9の数字）において、正則化なしの条件下で、Gradual Tuningは標準的な微調整（2.68 ± 0.11誤差）よりもタスクBで優れた性能（3.46 ± 0.12誤差）を達成した。
• タスクBがタスクAと著しく異なる合成タスク（例：atlタスク）では、正則化なしの条件下で、タスクA（acl）の忘却が、微調整時（17.6 ± 0.7）からGradual Tuning時（11.8 ± 0.1）にまで低下した。
• 5つの初期タスクで事前学習した場合、単一タスクで事前学習したネットワークと比較して、Gradual Tuningで学習したネットワークはタスクA（acl）での忘却が少なかった。これは、より良い特徴の保持を示している。
• 特にタスクの類似性が高く、正則化がない状況では、タスクBでの性能はGradual Tuningで同等またはわずかに向上した。
• 新しいタスクが初期タスクと著しく異なる場合に、Gradual Tuningの利点が最も顕著に現れ、多様な転移シナリオにわたる頑健性が示された。