[論文レビュー] An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning

Xiu-Shen Wei, Heyang Xu+3 more|arXiv (Cornell University)|Sep 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、低信頼度のクラスを逐次除外することで、ラベルなしデータに対する高信頼度のネガティブな偽ラベルを生成する、シンプルで効果的な半教師あり少数ショット学習手法MUSICを提案する。ネガティブラーニングとリジェクトオプション戦略を活用することで、最小限のコードとオフザシェル操作での実装で最先端の性能を達成し、4つのベンチマークデータセットで先行手法を上回った。

ABSTRACT

Semi-supervised few-shot learning consists in training a classifier to adapt to new tasks with limited labeled data and a fixed quantity of unlabeled data. Many sophisticated methods have been developed to address the challenges this problem comprises. In this paper, we propose a simple but quite effective approach to predict accurate negative pseudo-labels of unlabeled data from an indirect learning perspective, and then augment the extremely label-constrained support set in few-shot classification tasks. Our approach can be implemented in just few lines of code by only using off-the-shelf operations, yet it is able to outperform state-of-the-art methods on four benchmark datasets.

研究の動機と目的

• ラベル効率が低い少数ショット学習の課題を、半教師あり設定におけるラベルなしデータの活用によって解決すること。
• 各クラスに少数のラベル付き例しか利用できない状況での少数ショット分類性能の向上。
• オフザシェル操作を用いた最小限でモジュール化された設計により、ラベルなしデータに対する高信頼度の偽ラベルを生成する手法の開発。
• ラベル制約下での偽ラベル付けにおいて、ネガティブラーニングが主要メカニズムとして有効であるかの検証。

提案手法

• MUSICは問題を逐次除外として定式化する：直接的にポジティブな偽ラベルを予測する代わりに、信頼度が最も低いクラスを特定し、それをラベルなしサンプルにネガティブな偽ラベルとして割り当てる。
• 各イテレーションで、信頼度が最も低いクラスを予測し、それを将来的な予測から除外する。
• 信頼度の高いネガティブ予測と、同時にポジティブ予測の信頼度も反復的精錬によって向上させるネガティブラーニングにより、分類器を更新する。
• 逐次除外プロセス中に、ポジティブおよびネガティブラベルの両方の予測信頼度を向上させるために、最小エントロピー損失を適用する。
• リジェクトオプション戦略（δ = 0.2）により、高信頼度に達しないサンプルは破棄され、信頼性の高い偽ラベルのみが使用される。
• すべてのネガティブラベルが除外された時点で、ポジティブな偽ラベルが暗黙的に得られ、小規模なラベル付きサポートセットの拡張が可能になる。

実験結果

リサーチクエスチョン

• RQ1 低信頼度のクラスに注目することで、ネガティブクラスを直接的に処理する間接的でシンプルな偽ラベル付けアプローチが、ラベルが限られた状況下の少数ショット学習で優れた性能を達成できるか。
• RQ2 低信頼度クラスの逐次除外が、半教師あり少数ショット学習における偽ラベルの信頼性と信頼度をどのように向上させるか。
• RQ3 ラベルが不足する状況下で、信頼度正則化を伴うネガティブラーニングは、従来のポジティブ偽ラベル付け戦略をどの程度上回るか。
• RQ4 リジェクトオプション戦略が、最終的なサポートセットにおける偽ラベルデータのバランスと品質に与える影響は。
• RQ5 少数ショット学習における分類器の一般化性能に、偽ラベルの分布が均等であることが与える影響は。

主な発見

• MUSICは4つのベンチマークデータセット（miniImageNet、tieredImageNet、CIFAR-FS、CUB）で最先端の性能を達成し、5-way-5-shot設定下でminiImageNetの誤差率が9.09%まで低下した。
• 反復処理の間、ネガティブ偽ラベル付けの誤差率は6.7%未満を維持し、除外プロセスの高い信頼性を示した。
• ポジティブ偽ラベル付けの誤差率は、SOTA手法と比較して顕著に低く、miniImageNetでは9.09%、CUBでは11.91%であったのに対し、ICIとiLPCはそれぞれ24.72%および29.03%であった。
• リジェクトオプションのため、ラベルなしサンプルの約78–80%しかラベル付けされないが、依然として高い信頼度と正確性を維持しており、保守的だが効果的なサンプリングであることが示された。
• t-SNE可視化により、MUSICが得たポジティブ偽ラベルはICIやiLPCのものよりも中心的かつ識別性が高く、より良い一般化性能を支持していることが確認された。
• 偽ラベルはクラス間でほぼ均等に分布しており、平均して1クラスあたり40.1–41.1個のポジティブ偽ラベルが得られており、分類器学習のための堅牢なデータ分布を示している。