[論文レビュー] Revisiting Fine-tuning for Few-shot Learning

Akihiro Nakamura, Tatsuya Harada|arXiv (Cornell University)|Oct 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 30

ひとこと要約

この論文は、少サンプル学習におけるネットワークの微調整を見直し、特に低い学習率、Adamなどの適応的最適化手法、および全層の微調整といった適切なハイパーパrameter設定のもとで、低ドメイン、高ドメイン、クロスドメインの少サンプル画像分類ベンチマークにおいて、最先端または優れた性能を達成することを示している。多くの場合、専用の少サンプル手法を上回っている。

ABSTRACT

Few-shot learning is the process of learning novel classes using only a few examples and it remains a challenging task in machine learning. Many sophisticated few-shot learning algorithms have been proposed based on the notion that networks can easily overfit to novel examples if they are simply fine-tuned using only a few examples. In this study, we show that in the commonly used low-resolution mini-ImageNet dataset, the fine-tuning method achieves higher accuracy than common few-shot learning algorithms in the 1-shot task and nearly the same accuracy as that of the state-of-the-art algorithm in the 5-shot task. We then evaluate our method with more practical tasks, namely the high-resolution single-domain and cross-domain tasks. With both tasks, we show that our method achieves higher accuracy than common few-shot learning algorithms. We further analyze the experimental results and show that: 1) the retraining process can be stabilized by employing a low learning rate, 2) using adaptive gradient optimizers during fine-tuning can increase test accuracy, and 3) test accuracy can be improved by updating the entire network when a large domain-shift exists between base and novel classes.

研究の動機と目的

• 標準的なネットワーク微調整の性能を再評価し、専用アルゴリズムに比べて本質的に劣っているという仮定に疑問を呈すること。
• 微調整が低解像度、高解像度、クロスドメインの少サンプル学習ベンチマークで競争力ある正確性を達成できるかどうかを調査すること。
• 低データ環境における微調整の性能を安定化・向上させるために、重要なハイパーパrameterおよび訓練戦略を同定すること。
• ドメインシフトが微調整の効果に与える影響を分析し、異なるネットワーク部品に対する最適な更新戦略を同定すること。

提案手法

• 低学習率を用いた標準的な確率的勾配降下法（SGD）を用いて、事前学習済みの深層ニューラルネットワーク（例：ResNet-18、VGG-16）を、少サンプルのサポートセット上で微調整した。
• 収束性とテスト精度の向上を図るため、Adam、Adamax、Adagrad、RMSpropなどの適応的勾配最適化手法を採用した。
• 微調整の対象となるネットワークの部分を体系的に評価した：分類器ヘッドのみ、バッチ正則化および全結合層のみ、または全ネットワーク。
• 少サンプル分類における一般化性と安定性を向上させるために、正規化された分類器ヘッドを用いた。
• 3つのベンチマーク設定で実験を実施した：低解像度のmini-ImageNet（標準）、高解像度のmini-ImageNet（実用的単一ドメイン）、クロスドメインデータセット（大規模なドメインシフト）。
• バリデーションセットを用いて学習率と微調整エポック数をチューニングし、タスク全体にわたるロバスト性を確保した。

実験結果

リサーチクエスチョン

• RQ1 適切にチューニングされた場合、標準的なネットワーク微調整は、専用の少サンプル学習アルゴリズムを上回ることができるか？
• RQ2 学習率の選択が、少サンプル設定における微調整の安定性と正確性にどのように影響するか？
• RQ3 Adamなどの適応的勾配最適化手法を用いることで、標準的なSGDに比べて少サンプル分類の正確性が向上するか？
• RQ4 全ネットワークの更新が分類器ヘッドの微調整よりも効果的となる条件は何か？
• RQ5 ベースクラスと新規クラスの間のドメインシフトが、微調整戦略の性能にどのように影響するか？

主な発見

• 1ショットの低解像度mini-ImageNetタスクにおいて、最適なハイパーパrameterを用いた微調整は、一般的な少サンプル学習アルゴリズムを上回る正確性を達成した。
• 5ショットの低解像度タスクでは、微調整が最先端の手法とほぼ同等の正確性を達成し、強い競争力を示した。
• 低い学習率（例：0.0001）を用いることで、微調整プロセスが安定化し、発散を防ぎ、収束性の安定性が向上した。
• Adamのような適応的勾配最適化手法は、正規化された分類器ヘッドと組み合わせることで、テスト正確性を顕著に向上させた。
• ベースクラスと新規クラスの間に大きなドメインシフトが存在する場合、全ネットワークの更新が、分類器ヘッドのみの微調整よりも高いテスト正確性をもたらした。特にクロスドメインタスクにおいて顕著であった。
• 全ネットワーク微調整による性能向上は、ドメインシフトが顕著なクロスドメインタスクで最も顕著に現れた。