[論文レビュー] FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning

Zhuo Huang, Li Shen+3 more|arXiv (Cornell University)|Oct 25, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

FlatMatchは、ラベル付きデータとラベルなしデータの学習動態を一致させるために、悪意のある摂動を加えた最悪ケースモデルと元のモデル間のクロスシャープネスを最小化する、画期的な半教師付き学習手法を提案する。ラベルなしデータを活用することで、ラベル付きデータの一般化性能を安定化・向上させ、特にラベルが少ない状況下でも、訓練の安定性と一般化性能に優れた最先端の性能を達成する。

ABSTRACT

Semi-Supervised Learning (SSL) has been an effective way to leverage abundant unlabeled data with extremely scarce labeled data. However, most SSL methods are commonly based on instance-wise consistency between different data transformations. Therefore, the label guidance on labeled data is hard to be propagated to unlabeled data. Consequently, the learning process on labeled data is much faster than on unlabeled data which is likely to fall into a local minima that does not favor unlabeled data, leading to sub-optimal generalization performance. In this paper, we propose FlatMatch which minimizes a cross-sharpness measure to ensure consistent learning performance between the two datasets. Specifically, we increase the empirical risk on labeled data to obtain a worst-case model which is a failure case that needs to be enhanced. Then, by leveraging the richness of unlabeled data, we penalize the prediction difference (i.e., cross-sharpness) between the worst-case model and the original model so that the learning direction is beneficial to generalization on unlabeled data. Therefore, we can calibrate the learning process without being limited to insufficient label information. As a result, the mismatched learning performance can be mitigated, further enabling the effective exploitation of unlabeled data and improving SSL performance. Through comprehensive validation, we show FlatMatch achieves state-of-the-art results in many SSL settings.

研究の動機と目的

• ラベル付きデータは収束が速いが、不安定で鋭い損失関数の形状を示す一方、ラベルなしデータと一般化性能に不一致が生じる半教師付き学習における課題を解決すること。
• ラベルの不足に起因する制限を克服するため、ラベルなしデータの豊かさを活用してラベル付きデータの学習を補正し、一般化性能を向上させること。
• 新たなクロスシャープネス正則化を用いて、ラベル付きデータとラベルなしデータのトレーニングの間に一貫性のある学習パフォーマンスを実現することで、両者のギャップを埋めること。
• 個体ごとの一貫性や偽ラベルに依存せず、モデルのロバスト性と安定性を向上させる手法を開発すること。

提案手法

• FlatMatchは、元のモデルパラメータに悪意のある摂動を加えることで最悪ケースモデルを構築し、損失関数の形状における不安定な領域を特定する。
• クロスシャープネスは、ラベルなしデータ上で最悪ケースモデルと元のモデルの予測の差分として計算され、正則化項として機能する。
• このクロスシャープネスを最小化することで、元のモデルと最悪ケースモデルがラベルなしデータに対して一致した予測を出力するよう促進され、一般化性能の向上とトレーニングの安定化が実現される。
• 計算コストを削減しながら性能を維持するための効率的バージョンであるFlatMatch-eは、指数移動平均（EMA）を用いて最悪ケースモデルを近似する。
• 従来のSSLフレームワークと互換性があり、アーキテクチャの変更なしに標準的なトレーニングパイプラインに容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータの学習動態を一致させることで、半教師付き学習における一般化性能が向上するか？
• RQ2 最悪ケースモデルと元のモデル間のクロスシャープネスを最小化することで、損失関数の形状がより平坦になり、一般化性能が向上するか？
• RQ3 ラベルが少ない状況下でも、ラベルなしデータを活用することでラベル付きデータの学習が安定化・向上するか？
• RQ4 提案手法は、既存の最先端SSL手法と比較して、安定性、効率性、精度の面で優れているか？

主な発見

• FlatMatchは、CIFAR-10やCIFAR-100を含む複数のSSLベンチマークで、さまざまなラベル設定下で最先端の性能を達成し、FixMatch や FreeMatch といった既存手法を上回っている。
• FixMatchと比較して、ラベル付きデータにおける損失関数の形状が著しく平坦になっており、2次元の等高線と1次元の損失曲線の滑らかさから、一般化性能の向上が裏付けられている。
• 勾配ノルムの変動が著しく小さいことから、トレーニングの安定性が向上していることが示されており、特に FreeMatch との比較で顕著である。
• 摂動の大きさを制御するハイパーパrameter ρ は性能に強く影響し、最適な性能は ρ = 0.1 のときで、0.25 を超える値では著しい性能低下が生じる。
• 効率的バージョンである FlatMatch-e は、イテレーションごとの計算コストを削減しながらも高い精度を維持しており、EMAに基づく近似が有効かつ効率的であることが示された。