[論文レビュー] Boosting Few-Shot Learning With Adaptive Margin Loss

Aoxue Li, Weiran Huang+4 more|arXiv (Cornell University)|May 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 9

ひとこと要約

本論文は、少数ショット学習のための適応的マージン損失を提案し、クラス間の意味的類似度に基づいてマージンペナルティを動的に調整することで、メトリックベースのメタラーニングにおける汎化性能を向上させる。クラス関連およびタスク関連の意味的文脈を統合することで、標準的および一般化された少数ショット学習設定の両方で、miniImageNet および CIFAR-FS において最先端の性能を達成し、5ウェイ1ショット精度で最大4.3%の向上を示した。

ABSTRACT

Few-shot learning (FSL) has attracted increasing attention in recent years but remains challenging, due to the intrinsic difficulty in learning to generalize from a few examples. This paper proposes an adaptive margin principle to improve the generalization ability of metric-based meta-learning approaches for few-shot learning problems. Specifically, we first develop a class-relevant additive margin loss, where semantic similarity between each pair of classes is considered to separate samples in the feature embedding space from similar classes. Further, we incorporate the semantic context among all classes in a sampled training task and develop a task-relevant additive margin loss to better distinguish samples from different classes. Our adaptive margin method can be easily extended to a more realistic generalized FSL setting. Extensive experiments demonstrate that the proposed method can boost the performance of current metric-based meta-learning approaches, under both the standard FSL and generalized FSL settings.

研究の動機と目的

• 少数ショット学習におけるメトリックベースのメタラーニングの汎化能力を向上させることを目的とし、少ない例えで類似したクラスを区別する課題に対処すること。
• 固定マージンではなく、クラス間の意味的類似度に基づいて適応的に変化するマージン機構を開発すること。
• テストデータにベースクラスとネイティブクラスの両方が含まれるより現実的な一般化された少数ショット学習設定への拡張を図ること。
• メタトレーニングタスク内での意味的文脈を統合することで、識別的な埋め込み学習が向上することを示すこと。
• 標準的および一般化されたFSLベンチマーク上で、アブレーションおよび比較研究を通じて適応的マージンの有効性を検証すること。

提案手法

• 事前学習済みの意味的空間におけるクラス間の意味的類似度を用いて、各ペアのクラス間で適応的マージンを生成するクラス関連の加法的マージン損失を提案する。
• サンプリングされたメタトレーニングタスク内に含まれるすべてのクラスの相対的意味的文脈に基づいてマージンを計算するタスク関連マージン生成器を導入する。
• 適応的マージンを分類損失に統合し、標準的なメトリック学習目的を変更することで、意味的に類似したクラスに対してはクラス間距離のペナルティをより強くする。
• 意味的類似度に基づいてマージンをスケーリングする学習可能な係数 α を用い、α > 0 が類似したクラスに大きなマージンが必要であるという直感を裏付ける。
• プロトタイプネットワークおよび他のメトリックベースのモデルにこの手法を適用し、推論およびトレーニング手順を変更することで、一般化されたFSLへの拡張を可能にする。
• 埋め込み空間におけるベースメトリックとしてコサイン距離またはユークリッド距離を用い、適応的マージンをログティスまたは距離スコアに適用する。

実験結果

リサーチクエスチョン

• RQ1 意味的類似度に基づく適応的マージンは、少数ショット学習における汎化性能を向上させることができるか？
• RQ2 メタトレーニングタスク内のすべてのクラスの意味的文脈を考慮することで、より良い識別的埋め込み学習が達成できるか？
• RQ3 提案された適応的マージン損失は、一般化された少数ショット学習設定に効果的に拡張可能か？
• RQ4 追加的角マージンおよびコサインマージン損失といった固定マージンベースラインと比較して、適応的マージン損失の性能はどのように異なるか？
• RQ5 学習されたマージンスケール α は、類似したクラスに大きなマージンが必要であるという直感を反映しているか？

主な発見

• 5ウェイ1ショット標準FSL設定下で、miniImageNet において67.10%の精度を達成し、元の分類損失と比較して1.89%の向上を示した。
• 5ウェイ5ショット評価では79.54%の精度に達し、ベースラインと比較して4.34%の向上を示し、強力な汎化性能を示した。
• 1ショットでは0.74%、5ショットでは2.33%の上昇を示し、タスク関連マージン損失がクラス関連バージョンを上回ることで、タスク内意味的文脈の利点が確認された。
• 追加的角マージン損失およびコサインマージン損失と比較して、それぞれ66.92%および67.10%の精度を達成し、優れた性能を示した。
• 学習されたマージン係数 α は一貫して正であり、類似したクラスに大きなマージンが必要であるという設計の直感が裏付けられた。
• 一般化されたFSL設定に対しても効果的に汎化し、テストデータにベースクラスとネイティブクラスの両方が含まれる状況でも高い性能を維持した。