[論文レビュー] Task Augmentation by Rotating for Meta-Learning

Jialin Liu, Fei Chao+1 more|arXiv (Cornell University)|Feb 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 22

ひとこと要約

この論文では、少数ショットメタラーニングのための新しいデータ拡張法である回転によるタスク拡張（Task Aug）を提案する。本手法は、画像を90°、180°、270°回転させることで、訓練画像数を増やすのではなく、訓練クラスの数を増やす。回転されたバージョンから新たな明確なクラスを生成することで、メタトレーニング中のタスク多様性を向上させ、過学習を軽減し、miniImageNet、CIFAR-FS、FC100ベンチマークで最先端の性能を達成。従来手法比で2%〜5%の向上を実現した。

ABSTRACT

Data augmentation is one of the most effective approaches for improving the accuracy of modern machine learning models, and it is also indispensable to train a deep model for meta-learning. In this paper, we introduce a task augmentation method by rotating, which increases the number of classes by rotating the original images 90, 180 and 270 degrees, different from traditional augmentation methods which increase the number of images. With a larger amount of classes, we can sample more diverse task instances during training. Therefore, task augmentation by rotating allows us to train a deep network by meta-learning methods with little over-fitting. Experimental results show that our approach is better than the rotation for increasing the number of images and achieves state-of-the-art performance on miniImageNet, CIFAR-FS, and FC100 few-shot learning benchmarks. The code is available on \url{www.github.com/AceChuse/TaskLevelAug}.

研究の動機と目的

• 少ない例えでの未学習クラスへの一般化を必要とする少数ショットメタラーニングにおけるタスク多様性の不足という課題に対処すること。
• トレーニング中に異なるクラスの数を増やすことで、メタラーニングにおける一般化性能を向上させ、過学習を軽減すること。
• 画像レベルではなくタスクレベルでのデータ拡張という、メタラーニングの階層的学習プロセスとより整合性の高い新しいパラダイムを検討すること。
• シンプルでコスト効率の良い拡張戦略を用いて、標準的な少数ショット学習ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、元の画像を90°、180°、270°回転させることで、トレーニング中のメタトレーニング段階で新たな明確なクラスを生成し、利用可能なクラス数を増やす。
• 従来のデータ拡張とは異なり、画像数を増やすのではなく、ユニークなクラス識別子の数を増やすことで、タスク多様性を向上させる。
• 回転された画像は、既存のクラスに統合されるのではなく、新たなクラスとして扱われ、意味的独立性が保たれる。
• 本手法は、ProtoNets、M-SVM、R2-D2といった既存のメタラーニングモデルと併用され、標準的な少数ショット学習プロトコルに従う。
• アンサンブル手法とバリデーションに基づくモデル選択を用いて、Task Augによる一般化性能の向上をさらに活用し、性能を向上させる。
• 本手法は、miniImageNet、CIFAR-FS、FC100の3つのベンチマークで評価され、5-way 1-shotおよび5-shotの設定下で検証された。

実験結果

リサーチクエスチョン

• RQ1 画像の回転による異なるクラスの数の増加が、少数ショットメタラーニングにおける一般化性能の向上に寄与するか？
• RQ2 従来の画像レベルの拡張と比較して、タスクレベルでの回転による拡張は、過学習の軽減に効果的か？
• RQ3 標準的な少数ショットベンチマークにおいて、Task Augmentationは既存の最先端手法と比較してどのように性能を発揮するか？
• RQ4 アンサンブルやバリデーションに基づくモデル選択と組み合わせることで、Task Augがさらなる性能向上をもたらすか？

主な発見

• Task Augは、アンサンブルとバリデーションを用いたR2-D2を用いて、miniImageNetベンチマークで最先端の性能を達成し、5-way 5-shotでの精度が81.96%に達した。これは、従来手法を上回った。
• CIFAR-FSでは、5-shotで88.38%の精度を達成し、過去最高の結果を3%以上上回った。
• FC100では、5-shotで67.17%の精度を達成し、従来の最良手法比で4.5%の向上を示した。
• 特にアンサンブル手法を用いた場合に改善が顕著に現れ、Task Augが過学習を軽減し、より高品質なモデルの学習を可能にしていることが示された。
• 結果から、新たなクラスを生成するために画像を回転させる手法が、メタラーニングにおけるモデル多様性と一般化性能の向上に、従来の拡張法よりも効果的であることが明らかになった。