[論文レビュー] RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss

Trung Quang Tran, Min‐Gu Kang+1 more|arXiv (Cornell University)|Oct 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

RankingMatchは、同じクラスの画像に対する類似したモデル出力を促進するランクベース損失を組み込んだ、画期的な半教師あり学習手法を提案する。計算効率の高いBatchMean三重損失を導入し、モデルのログイットに直接適用することで、わずか250ラベルでCIFAR-10で95.13%の精度を達成し、1000ラベルでSVHNで97.77%の精度を記録する。

ABSTRACT

Semi-supervised learning (SSL) has played an important role in leveraging unlabeled data when labeled data is limited. One of the most successful SSL approaches is based on consistency regularization, which encourages the model to produce unchanged with perturbed input. However, there has been less attention spent on inputs that have the same label. Motivated by the observation that the inputs having the same label should have the similar model outputs, we propose a novel method, RankingMatch, that considers not only the perturbed inputs but also the similarity among the inputs having the same label. We especially introduce a new objective function, dubbed BatchMean Triplet loss, which has the advantage of computational efficiency while taking into account all input samples. Our RankingMatch achieves state-of-the-art performance across many standard SSL benchmarks with a variety of labeled data amounts, including 95.13% accuracy on CIFAR-10 with 250 labels, 77.65% accuracy on CIFAR-100 with 10000 labels, 97.76% accuracy on SVHN with 250 labels, and 97.77% accuracy on SVHN with 1000 labels. We also perform an ablation study to prove the efficacy of the proposed BatchMean Triplet loss against existing versions of Triplet loss.

研究の動機と目的

• 既存の一貫性正則化手法が、同じ入力の摂動版にのみ注目し、同じクラス内でのサンプル間類似性を無視するという限界を是正すること。
• 同じクラスの画像が、互いに摂動の関係にない場合でも、類似したモデル出力を生成するように強制することで、モデルの一般化性能を向上させること。
• BatchAllの高コストを避け、BatchHardの複雑さを避ける、バッチ内の全サンプルを考慮する計算効率の良い三重損失の変種を開発すること。
• メトリクス学習と半教師あり学習を統合するために、特徴表現ではなくモデルのログイットに直接ランク損失を適用すること。
• 提案された損失部品の有効性を実証的に検証し、多様なベンチマークとラベル予算における収束性と性能への影響を評価すること。

提案手法

• 交差エントロピー損失、一貫性正則化（FixMatchと同様）、および新規のランク損失部品を組み合わせた半教師あり学習フレームワークであるRankingMatchを導入する。
• 三重損失および対照的損失を、学習された特徴表現ではなく、モデルの最終ログイット（分類スコア）に直接適用することで、出力レベルでのクラス内類似性を強制する。
• バッチ全体の最も難しい正例および負例ペアを計算する新しいバージョンであるBatchMean三重損失を提案する。これは、代表的で計算効率に優れたバランスを実現する。
• トレーニングの安定性と収束性を向上させるために、ログイットにL2正規化を適用する。特にBatchMean損失を用いる場合に顕著に効果を発揮する。
• 二段階の増幅戦略を採用する：弱い増幅処理を施した入力から、強い増幅処理を施した対応する入力の疑似ラベルを生成し、一貫性を強制する。
• ランク損失を微分可能かつスケーラブルに適応させ、BatchAllのメモリと時間的オーバーヘッドを回避しつつ、BatchHardを上回る精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 同じクラスのサンプルのモデル出力同士の類似性を強制することで、一貫性正則化のみに依存する手法を上回る半教師あり学習性能が達成可能か？
• RQ2 特徴表現ではなく、ログイットに直接ランク損失を適用することで、より良い一般化性能とトレーニング安定性が得られるか？
• RQ3 BatchAllの代表的特徴を保ちつつ、BatchHardの効率性を達成する新しい三重損失の変種を設計可能か？
• RQ4 L2正規化の導入が、ランクベースの半教師あり学習手法のトレーニングダイナミクスと最終精度にどのように影響するか？
• RQ5 BatchAllおよびBatchHardと比較して、提案されたBatchMean三重損失が、精度と計算コストの両面で果たす相対的寄与度はどの程度か？

主な発見

• RankingMatchは、わずか250ラベルでCIFAR-10で95.13%のトップ1精度を達成し、先行する最先端手法を上回った。
• SVHNでは1000ラベルで97.77%の精度に到達し、低ラベル予算下でも優れた性能を示した。
• CIFAR-10で250ラベルを用いた場合、BatchHardおよびBatchAllの変種と比較して、BatchMean三重損失は誤差率をそれぞれ50%および75%低減した。
• L2正規化を適用しない場合、BatchMean三重損失は勾配爆発を引き起こし、トレーニングの発散を引き起こすため、モデル安定性において極めて重要な役割を果たす。
• BatchAllに比べて、BatchMean三重損失は著しく効率的であり、SVHNでは1エポックあたりの平均トレーニング時間を125秒以上短縮し、GPUメモリ使用量を半減させた。
• t-SNE可視化の結果、RankingMatchはFixMatchやMixMatchと比較して、ログイット空間におけるクラスクラスタがよりコンパクトで明確に分離されていることが示された。これは、より優れた決定境界を形成していることを示唆している。