[論文レビュー] Beyond Fine Tuning: A Modular Approach to Learning on Small Data

Ark Anderson, Kyle Shaffer+3 more|arXiv (Cornell University)|Nov 6, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 7

ひとこと要約

本論文は、微調整を伴わずに分布シフトを学習できるように、固定された事前学習済みニューラルネットワークモジュールとトレーニング可能なモジュールを組み合わせる神経的モジュラー手法を提案する。事前学習済み表現を保持するとともに、新しいタスク固有のモジュールを追加することで、CIFAR-100 やテキスト分類、細分化画像認識といった小データベンチマークにおいて、標準的な微調整よりも最大5%高い精度を達成する。

ABSTRACT

In this paper we present a technique to train neural network models on small amounts of data. Current methods for training neural networks on small amounts of rich data typically rely on strategies such as fine-tuning a pre-trained neural network or the use of domain-specific hand-engineered features. Here we take the approach of treating network layers, or entire networks, as modules and combine pre-trained modules with untrained modules, to learn the shift in distributions between data sets. The central impact of using a modular approach comes from adding new representations to a network, as opposed to replacing representations via fine-tuning. Using this technique, we are able surpass results using standard fine-tuning transfer learning approaches, and we are also able to significantly increase performance over such approaches when using smaller amounts of data.

研究の動機と目的

• クラスあたり100未満の例しか利用できない小規模データセット上で深層ニューラルネットワークを訓練する課題に対処すること。
• 標準的な微調整の限界を克服すること。標準的な微調整は事前学習済み特徴を上書きし、壊滅的忘却を引き起こす。
• 事前学習済みネットワークの表現力の維持と、モジュラー構成による新しいタスク固有の特徴の学習。
• 画像分類やテキスト分類を含む多様な分野における小データタスクで向上したパフォーマンスを示すこと。
• 再学習や既存のネットワークコンponentsの置き換えなしに、スケーラブルでモジュラーなアーキテクチャを構築すること。

提案手法

• 事前学習済みニューラルネットワークレイヤーやネットワーク全体を、重みが凍結された固定モジュールとして扱う。
• これらの固定事前学習済みモジュールと、トレーニングされていない可学習モジュールを、高階層のアーキテクチャで組み合わせる。
• 複数のモジュール（例：異なるネットワークからのLSTMレイヤー）の出力を連結して、共有表現層を形成する。
• ゲーテッド再帰ユニット（GRUs）や類似のレイヤーを用いて、連結された表現を処理し、最終的なクラス確率を予測する。
• 事前学習済みモジュールを凍結したまま、新しいモジュールをエンドツーエンドでトレーニングすることで、学習済み特徴を保持する。
• 画像分類（CIFAR-100、Stanford Cars）やテキスト分類（IMDBセンチメント）を含む多様なタスクに、モジュラーアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み特徴を保持するモジュラー構造は、小データ学習タスクにおいて標準的な微調整を上回ることができるか？
• RQ2 複数の事前学習済みモジュールと可学習モジュールを組み合わせることで、単一ネットワークの微調整と比較して、特徴学習がどのように向上するか？
• RQ3 モジュラー手法は、転移学習における壊滅的忘却をどの程度軽減できるか？
• RQ4 画像やテキストといった異なるデータモダリティにおいて、限られたラベル付き例を用いて、モジュラー手法は一般化可能か？
• RQ5 クラスあたり数十例しかトレーニングデータがない状況でも、モジュラー手法は微調整を上回る高い精度を達成できるか？

主な発見

• IMDBセンチメント分類において、500件のトレーニング例のみで69.6%の精度を達成し、次に良いモデル（64.9%）よりも4.7%高い。
• CIFAR-100で限られたデータを用いた場合、モジュラーモデルは標準的な微調整を上回り、小データ環境下での優れたパフォーマンスを示した。
• 特にクラスあたり100例未満のデータでトレーニングされる状況では、モジュラー手法が微調整を著しく上回った。
• 10回の異なる重み初期化においても、モジュラーネットワークの性能は安定しており、平均精度69.6%を示し、初期化のばらつきに対して頑健であることが示された。
• モジュラー構造により、補完的な特徴学習が可能となり、事前学習済みネットワークが見逃していた微細なパターンを新しいモジュールが捉えた。
• 事前学習モデルの表現力は維持された一方で、新しいタスク固有の表現が追加され、壊滅的忘却が回避された。