[論文レビュー] Borrowing Treasures from the Wealthy: Deep Transfer Learning through Selective Joint Fine-tuning

Weifeng Ge, Yizhou Yu|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 18

ひとこと要約

本論文では、大規模なソースドメインからの選択的でカスタマイズされた画像サブセットを用いて、共有畳み込み層を共同で微調整することで、データが乏しい視覚分類タスクの性能を向上させる、選択的で共同的な微調整という深層転移学習手法を提案する。この手法は、フィルターバンク記述子を用いて、ターゲットドメインと類似した低レベル特徴を持つソース画像を選別し、Caltech-256、MIT Indoor 67、Oxford Flowers 102、Stanford Dogs 120で、最先端の性能向上（2%〜10%）を達成した。

ABSTRACT

Deep neural networks require a large amount of labeled training data during supervised learning. However, collecting and labeling so much data might be infeasible in many cases. In this paper, we introduce a source-target selective joint fine-tuning scheme for improving the performance of deep learning tasks with insufficient training data. In this scheme, a target learning task with insufficient training data is carried out simultaneously with another source learning task with abundant training data. However, the source learning task does not use all existing training data. Our core idea is to identify and use a subset of training images from the original source learning task whose low-level characteristics are similar to those from the target learning task, and jointly fine-tune shared convolutional layers for both tasks. Specifically, we compute descriptors from linear or nonlinear filter bank responses on training images from both tasks, and use such descriptors to search for a desired subset of training samples for the source learning task. Experiments demonstrate that our selective joint fine-tuning scheme achieves state-of-the-art performance on multiple visual classification tasks with insufficient training data for deep learning. Such tasks include Caltech 256, MIT Indoor 67, Oxford Flowers 102 and Stanford Dogs 120. In comparison to fine-tuning without a source domain, the proposed method can improve the classification accuracy by 2% - 10% using a single model.

研究の動機と目的

• ラベル付き学習データが十分にない場合に、深層ニューラルネットワークを信頼性を持って学習させるという課題に対処すること。
• 過学習が深刻な問題となる、細分化されたおよび特化型の視覚分類タスクにおける性能を向上させること。
• 追加のラベル付けを必要とせずに、大規模なソースデータセットを活用する転移学習戦略を開発すること。
• ターゲットドメインから最も関連性の高いトレーニングサンプルのみを同定・利用し、特徴学習を強化すること。
• 全量のデータではなく、選択的に使用されるソースデータが、より良い一般化と性能をもたらすことを実証すること。

提案手法

• 本手法は、データが限られたターゲットタスクと、豊富なデータを持つソースタスクの間で、共有畳み込み層を共同で微調整する。
• フィルターバンク応答（例：ガボールまたはCNNベース）を計算し、そのヒストグラムを記述子として用いることで、低レベルの視覚的特徴に基づいてソーストレーニング画像のサブセットを選別する。
• 記述子に基づくリtrievalにより類似度を測定し、ターゲットドメインと類似した低レベル特徴（例：テクスチャ、エッジ）を持つ画像のみを活用する。
• 選別されたソース画像を用いて、共有畳み込み層を共同で微調整し、ターゲットタスクの特徴学習を向上させる。
• ハードなトレーニングサンプルに対しては、取得するソース画像の数を増やす適応的サンプリング戦略を採用する。
• 学習された非線形フィルターバンクとして、事前学習済みのAlexNetの下位畳み込み層を用い、類似性マッチングのための記述子を抽出する。

実験結果

リサーチクエスチョン

• RQ1 カスタマイズされたソースデータサブセットを用いた共同微調整は、データが乏しい視覚分類タスクの性能を向上させることができるか？
• RQ2 低レベルの視覚的類似性に基づいてソース画像を選別することで、全ソースデータを使用する場合よりも優れた特徴学習が達成できるか？
• RQ3 選択的で共同的な微調整の性能は、従来の微調整や初期化から学習を再開する方法と比べてどうか？
• RQ4 学習されたフィルターバンクは、解析的手法（例：ガボール）よりも、関連するソースサンプルを同定するのに優れているか？
• RQ5 本手法は、ImageNet や Places といった多様なソースドメインに対して、さまざまなターゲットタスクで汎用的に適用可能か？

主な発見

• 選択的で共同的な微調整は、ソースドメインを用いない従来の微調整と比較して、Stanford Dogs 120 データセットで10%の精度向上を達成した。
• MIT Indoor 67 では、Places データセットをソースドメインとして使用したところ、平均クラス精度が85.8%に向上し、ベースラインの微調整より4.1%の向上を示した。
• 全ソースデータを使用した場合、Stanford Dogs 120 では性能が4.6%低下し、関係のないデータが学習を損なうことが示された。
• ソースドメインからランダムに選択された画像を使用した場合、Stanford Dogs 120 では性能が4.7%低下し、関連性に基づく選択の重要性が確認された。
• 学習されたフィルターバンクをガボールフィルタに置き換えた場合、Oxford Flowers 102 で2.7%の精度低下が生じ、学習されたフィルタが手作業で設計されたものよりも優れていることを示した。
• ハードなサンプルに対する適応的サンプリング戦略により、Stanford Dogs 120 では1.9%の性能向上が達成され、困難なサンプルの処理における価値が示された。