[論文レビュー] Negative Margin Matters: Understanding Margin in Few-shot Classification

Bin Liu, Yue Cao+5 more|arXiv (Cornell University)|Mar 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 33

ひとこと要約

本論文は、softmax損失におけるネガティブマージンを用いることで、基盤クラスの識別性と新規クラスへの転移性を均衡させ、少数ショット分類を改善し、標準ベンチマークで最先端の結果を達成することを示している。

ABSTRACT

This paper introduces a negative margin loss to metric learning based few-shot learning methods. The negative margin loss significantly outperforms regular softmax loss, and achieves state-of-the-art accuracy on three standard few-shot classification benchmarks with few bells and whistles. These results are contrary to the common practice in the metric learning field, that the margin is zero or positive. To understand why the negative margin loss performs well for the few-shot classification, we analyze the discriminability of learned features w.r.t different margins for training and novel classes, both empirically and theoretically. We find that although negative margin reduces the feature discriminability for training classes, it may also avoid falsely mapping samples of the same novel class to multiple peaks or clusters, and thus benefit the discrimination of novel classes. Code is available at https://github.com/bl0/negative-margin.few-shot.

研究の動機と目的

• オープンセット少数ショット設定でなぜマージンがネガティブであるべきか動機づける。
• 少数ショットタスクにおける metric learning のためのネガティブマージン softmax およびネガティブマージン cosine softmax 損失を導入する。
• マージンが基盤クラスと新規クラスの識別性に与える影響を分析する。
• 複数のバックボーンに渡る標準的な few-shot ベンチマークで最先端の性能を示す。

提案手法

• ネガティブマージン softmax 損失 (Neg-Softmax) およびネガティブマージン cosine softmax 損失 (Neg-Cosine) を定式化する。
• 内積またはコサイン類似度を用いた softmax 目的関数にマージンを組み込む。
• マージンの影響を分析するために、クラス中心、クラス間およびクラス内分散、および識別性関数 phi を定義・計算する。
• 特定の条件下でネガティブマージンが新規クラスの識別性を改善し得ることを示す理論解析を提供する。
• 2段階のトレーニングフレームワークを採用する：基盤クラス上でネガティブマージン損失を用いて事前学習を行い、次に新規クラスの分類器を微調整する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックス学習におけるネガティブマージンは、few-shot 設定で新規クラスへの転移性を改善するか？
• RQ2 マージンは基盤クラスと新規クラスの識別性にどのように影響するか、経験的にも理論的にも？
• RQ3 ネガティブマージン損失は異なるバックボーンやデータセットに対して標準的な few-shot ベンチマークで最先端性能を達成できるか？
• RQ4 ドメイン横断・細分類設定におけるオープンセット少数ショット分類におけるマージン符号の実用的効果は何か。

主な発見

• ネガティブマージン softmax 損失は few-shot 分類において通常の softmax 損失を上回ることがある。
• Neg-Cosine は multiple backbones にわたり mini-ImageNet の 1-shot および 5-shot 設定でしばしば最先端の結果を達成する。
• 正のマージンを増やすと基盤クラスの識別性は向上するが新規クラスの識別性を損なうことがあり、ネガティブマージンは新規クラスの識別性のより良いトレードオフを提供する。
• 経験的・理論的分析は、ネガティブマージンが新規クラスのサンプルを基盤クラス間の複数のピークへマッピングするリスクを低減し、転移性を助けることを示す。
• 正則化技術（ウェイト減衰、DropBlock など）はさらに性能を高め、複数のベンチマークで強力な結果を達成する。