[論文レビュー] Semi-supervised Long-tailed Recognition using Alternate Sampling

Bo Liu, Haoxiang Li+3 more|arXiv (Cornell University)|May 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

本論文は、特徴埋め込みと分類器の学習を分離することで、ラベル付きデータに対してクラスバランスサンプリングを、ラベル付きおよびラベルなしデータに対してランダムサンプリングを用いる、画期的な半教師あり長尾認識フレームワークを提案する。本手法は、繰り返し擬似ラベルを精緻化し、末端クラスにおける低品質な擬似ラベルによるバイアスを軽減することで、特に少サンプルクラスにおいて最先端の精度を達成する。

ABSTRACT

Main challenges in long-tailed recognition come from the imbalanced data distribution and sample scarcity in its tail classes. While techniques have been proposed to achieve a more balanced training loss and to improve tail classes data variations with synthesized samples, we resort to leverage readily available unlabeled data to boost recognition accuracy. The idea leads to a new recognition setting, namely semi-supervised long-tailed recognition. We argue this setting better resembles the real-world data collection and annotation process and hence can help close the gap to real-world scenarios. To address the semi-supervised long-tailed recognition problem, we present an alternate sampling framework combining the intuitions from successful methods in these two research areas. The classifier and feature embedding are learned separately and updated iteratively. The class-balanced sampling strategy has been implemented to train the classifier in a way not affected by the pseudo labels' quality on the unlabeled data. A consistency loss has been introduced to limit the impact from unlabeled data while leveraging them to update the feature embedding. We demonstrate significant accuracy improvements over other competitive methods on two datasets.

研究の動機と目的

• 標準的な半教師あり学習ベンチマークと、ラベル付きおよびラベルなしデータが両方とも長尾分布に従う現実世界のデータ収集の間にあるギャップを埋める。
• 標準的手法がクラスの不均衡のため失敗する、半教師あり長尾認識における末端クラスの擬似ラベル品質の低さという課題を克服する。
• 分類器と特徴埋め込みの学習を分離することで、訓練の安定性を高め、ノイズの多い擬似ラベルに対してより頑健な学習フレームワークを開発する。
• ラベルなしデータを活用することで、ヘッドクラスへのバイアスが悪化することなく、長尾データセットにおける認識精度を向上させる。

提案手法

• 認識モデルを特徴埋め込みネットワークと分類器に分離し、異なるサンプリング戦略を用いて別々に訓練する。
• ラベル付きサブセットに対してクラスバランスサンプリングを分類器に適用することで、公平な監視を確保し、ヘッドクラスへのバイアスを低減する。
• ラベル付きおよびラベルなしデータの両方に対して、特徴埋め込みの訓練にランダムサンプリングを適用することで、誤った擬似ラベルによるバイアスを回避する。
• 同じラベルなしサンプルを異なる増幅処理を施した場合の順方向プロパゲーション間の整合性損失を導入することで、特徴の一般化を向上させる。
• 交互学習スキームを実装する：まずラベル付きデータで分類器を訓練し、次に擬似ラベル付きラベルなしデータを用いて特徴埋め込みを更新し、これを繰り返す。
• モデルの現在の予測に基づく擬似ラベルを特徴埋め込みの訓練に使用するが、擬似ラベル付きデータで分類器の更新を行わないことで、誤りの拡散を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きおよびラベルなしデータが両方とも同じ長尾分布に従う状況において、半教師あり学習手法を長尾認識に効果的に適応できるか？
• RQ2 末端クラスの擬似ラベル品質が、半教師あり長尾認識におけるモデル性能にどのように影響するか？
• RQ3 異なるサンプリング戦略を用いて分類器と特徴埋め込みの学習を分離することで、バイアスを低減し、ノイズの多い擬似ラベルに対して頑健性を向上させられるか？
• RQ4 分類器と特徴埋め込みの学習を交互に実行することで、統合学習やエンドツーエンドのファインチューニングに比べ、少サンプルクラスの性能が向上するか？

主な発見

• 本手法は、CIFAR-10-SSLT（不均衡要因100）で全体の精度70.1％を達成し、最良のベースラインを6ポイント以上上回った。
• 少サンプルクラスでは56.5％の精度を達成し、ベースライン（R+Rで14.1％、C+Rで37.6％）に比べ顕著な向上を示し、擬似ラベルノイズに対して頑健であることが確認された。
• アブレーションスタディの結果、擬似ラベル付きデータで分類器を訓練すること（クラスバランスサンプリングを適用しても）性能を低下させ、特に少サンプルクラスで顕著な悪化が見られた。これは誤りの拡散が原因である。
• 5回の訓練ループを経て、少サンプルスプリットにおける擬似ラベルの精度が41.8％から57.8％に上昇した。これは、交互学習スキームの有効性を裏付けている。
• 特徴埋め込みの非教師あり学習を排除すると、性能が著しく低下し、初期化されたモデルよりも劣る結果となった。これは、改善に非教師あり学習が不可欠であることを示している。
• 本手法は多サンプルクラスでも高い性能（全体で89.6％）を維持しながら、少サンプルクラスの精度を著しく向上させた。これは、クラスの頻度にかかわらずバランスの取れた学習が実現されたことを示している。