[論文レビュー] SemiReward: A General Reward Model for Semi-supervised Learning

Siyuan Li, Weiyang Jin+5 more|arXiv (Cornell University)|Oct 4, 2023

Advanced Statistical Methods and Models被引用数 4

ひとこと要約

SemiRewardは、自己教師付き学習における確認バイアスを軽減するため、2段階のトレーニングパイプラインとジェネレータ・リワードネットワークを用いて、高品質な偽ラベルを評価・フィルタリングする一般化可能でプラグイン可能な報酬モデルを提案する。この手法は、視覚、自然言語処理、音声タスクをカバーする13の多様なSSLベンチマークで顕著な性能向上と高速収束を達成し、Pseudo Label、FlexMatch、Free/SoftMatchなどの最先端手法を上回る。

ABSTRACT

Semi-supervised learning (SSL) has witnessed great progress with various improvements in the self-training framework with pseudo labeling. The main challenge is how to distinguish high-quality pseudo labels against the confirmation bias. However, existing pseudo-label selection strategies are limited to pre-defined schemes or complex hand-crafted policies specially designed for classification, failing to achieve high-quality labels, fast convergence, and task versatility simultaneously. To these ends, we propose a Semi-supervised Reward framework (SemiReward) that predicts reward scores to evaluate and filter out high-quality pseudo labels, which is pluggable to mainstream SSL methods in wide task types and scenarios. To mitigate confirmation bias, SemiReward is trained online in two stages with a generator model and subsampling strategy. With classification and regression tasks on 13 standard SSL benchmarks across three modalities, extensive experiments verify that SemiReward achieves significant performance gains and faster convergence speeds upon Pseudo Label, FlexMatch, and Free/SoftMatch. Code and models are available at https://github.com/Westlake-AI/SemiReward.

研究の動機と目的

• 低品質な偽ラベルによって引き起こされる自己教師付き学習における確認バイアスの課題に対処すること。
• 手動で設計されたまたはタスク固有のポリシーに依存しない、一般化可能でタスクに依存しない高品質な偽ラベルの選択手法の開発。
• 自己教師付き学習における多様なモダリティとタスク（分類および回帰）において、高速収束と一貫した性能向上を実現すること。
• 既存のSSL手法とシームレスに統合可能な軽量でプラグイン可能なフレームワークの設計。
• 2段階のパイプラインとジェネレータネットワークを用いて、最小限の計算コストで報酬モデルをオンラインでトレーニングすること。

提案手法

• 報酬ネットワークは、偽ラベルと正解ラベル間のコサイン類似度に基づいて、滑らかでうまくキャリブレーションされた報酬スコアを予測する。
• 報酬ネットワークは2段階でトレーニングされる：まず、生成器を用いて「偽ラベル」を生成するラベル付きデータ上で事前トレーニングを行い、次にラベル付きデータと選択された未ラベルデータのサブサンプルセット上でファインチューニングを行う。
• 事前トレーニング段階で、ジェネレータネットワークが合成された偽ラベルを生成することで、報酬ネットワークのトレーニングを学生モデルから分離し、確認バイアスを低減する。
• 報酬ネットワークは回帰損失を用いて正解報酬スコアを予測するようにトレーニングされ、キャリブレーションされ、信頼性の高いラベルフィルタリングを保証する。
• フレームワークは即挿し可能で、Pseudo Label、FlexMatch、Free/SoftMatchなどの主流なSSL手法と互換性がある。
• 段階2では、予測された報酬スコアに基づいて低品質な偽ラベルをフィルタリングしつつ、高いサンプリングレートを維持するためのサブサンプリング戦略が適用される。

実験結果

リサーチクエスチョン

• RQ1 偽ラベルと正解ラベル間のコサイン類似度に基づく学習された報酬スコアは、分類および回帰タスクの両方において、偽ラベル品質の信頼性の高い一般化可能な指標として機能するか？
• RQ2 自己学習SSLにおいて確認バイアスを避けるために、最小限の計算コストで報酬モデルをオンラインでトレーニングする方法は何か？
• RQ3 プラグイン可能な報酬モジュールは、多様なSSLベンチマークとモダリティにおいて、性能向上と収束速度の向上にどの程度寄与するか？
• RQ4 ジェネレータと報酬ネットワークを備えた2段階トレーニングパイプラインは、報酬ネットワークのトレーニングを学生モデルから効果的に分離し、一般化性能を向上させるか？
• RQ5 報酬ネットワークは、タスク固有の調整を必要とせずに、さまざまなSSLアルゴリズムやデータセットに一般化可能か？

主な発見

• SemiRewardは、視覚、自然言語処理、音声モダリティの13の標準的SSLベンチマークにおいて、ベースラインSSL手法よりも+1.9%から+3.7%の精度向上を達成した。
• ピーク性能に到達するまでのトレーニングイテレーション数が、ベースラインと比較して最低でも1.7倍以上削減された。これは収束が著しく高速化されたことを示している。
• コンピュータビジョン、自然言語処理、音声データセットにおいて、SemiRewardは分類および回帰タスクの両方で、Pseudo Label、FlexMatch、Free/SoftMatchなどの最先端手法を一貫して上回った。
• SemiRewardが予測する報酬スコアは、実証的分析によりうまくキャリブレーションされており、高品質な偽ラベルを信頼性高く特定していることが確認された。
• ジェネレータを備えた2段階トレーニングパイプラインは、確認バイアスを効果的に軽減し、安定的かつ正確な報酬モデルのトレーニングを可能にした。
• フレームワークは非常に一般化可能であり、アーキテクチャやハイパーパrameterの変更を一切行わずに、多様なデータセットとタスクタイプで一貫した向上を達成した。