[論文レビュー] Large Margin Few-Shot Learning

Yong Wang, Xiao-Ming Wu+5 more|arXiv (Cornell University)|Jul 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 23

ひとこと要約

本論文は、分類損失にトリプレット損失を統合することで、メトリックベースの少样本学習の一般化性能を向上させるための大マージン原理を提案する。計算コストをほとんど増加させることなく顕著な性能向上を達成した。プロトタイプネットワークおよびグラフニューラルネットワークにおける実験では、5ウェイ少样本学習ベンチマークにおいて一貫した性能向上が確認され、過学習の低減と識別能力の向上に大マージン制約の有効性が示された。

ABSTRACT

The key issue of few-shot learning is learning to generalize. This paper proposes a large margin principle to improve the generalization capacity of metric based methods for few-shot learning. To realize it, we develop a unified framework to learn a more discriminative metric space by augmenting the classification loss function with a large margin distance loss function for training. Extensive experiments on two state-of-the-art few-shot learning methods, graph neural networks and prototypical networks, show that our method can improve the performance of existing models substantially with very little computational overhead, demonstrating the effectiveness of the large margin principle and the potential of our method.

研究の動機と目的

• 限られたラベル付きデータによる少样本学習における過学習の問題に対処すること。
• 埋め込み空間における大マージン制約を課すことにより、メトリックベースの少样本学習モデルの一般化能力を向上させること。
• さまざまなメトリック学習手法に適用可能な統一的で効率的かつ頑健なフレームワークを開発すること。
• プロトタイプネットワークやグラフニューラルネットワークなどの最先端モデルを用いた広範な実験を通じて、大マージン制約の有効性を検証すること。

提案手法

• メトリック空間における異なるクラス間の分離を大マージンで強制するために、標準的な分類損失にトリプレット損失を追加する。
• 特にパrametricでない分類器（例：プロトタイプネットワーク）に対しても広く適用可能となるよう、正規化されていないトリプレット損失を採用する。
• 既存のメトリック学習フレームワークのコアアーキテクチャを変更せずに、大マージン損失を統合する。
• 正規化されたトリプレット損失、cosface、arcfaceを含む複数のマージンベース損失関数をテスト・比較し、ロバストネスと性能を評価する。
• 統一フレームワークをプロトタイプネットワークおよびグラフニューラルネットワークに適用し、Mini-ImageNetおよびOmniglotデータセットで学習を実施する。
• マージンハイパーパramータ m とスケーリング係数 s を用い、最適なパフォーマンスを得るため s=10、m=0.2 または 0.1 を設定する。

実験結果

リサーチクエスチョン

• RQ1 クラス埋め込み間のマージン制約を強制することで、少样本学習における一般化性能が向上するか？
• RQ2 cosface や arcface といった既存の損失関数と比較して、提案された大マージンフレームワークは安定性と性能において優れているか？
• RQ3 統一された大マージンフレームワークは、パrametricおよび非パrametricなメトリック学習モデルの両方に対して効果的に適用可能か？
• RQ4 大マージン損失の導入により、さまざまな少样本学習ベンチマークで一貫した性能向上が得られるか？

主な発見

• 提案された大マージンフレームワークは、プロトタイプネットワークおよびグラフニューラルネットワークにおいて、Mini-ImageNetおよびOmniglotデータセットの両方で性能向上を達成した。
• Mini-ImageNetにおける5ウェイ1ショット学習では、cosface損失で51.04%の正確度を達成し、m=0.2の場合は51.49%に上昇し、ベースラインのGNN（50.33%）を上回った。
• 正規化されていないトリプレット損失は、正規化された変種よりも一貫して優れており、よりロバストであった。一方、arcfaceは多くの場合収束しなかったのに対し、本手法ではトレーニング失敗が観察されなかった。
• cosface損失では、5ウェイ5ショット学習で67.04%の正確度を達成し、ベースラインのGNN（66.41%）をわずかに上回った。これはマージン制約の恩恵を裏付けている。
• arcface損失はマージンハイパーパramータ m に対して非常に感受性が高く、多くの m 値でトレーニングが失敗した。これは、少样本学習設定における不安定性を示している。
• フレームワークは計算オーバーヘッドをほとんど追加せず、既存のメトリック学習モデルへの適応も容易であり、広範な実用的応用可能性を示した。