[論文レビュー] Learning to Impute: A General Framework for Semi-supervised Learning

Weihong Li, Chuan-Sheng Foo+1 more|arXiv (Cornell University)|Dec 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 8

ひとこと要約

この論文では、ラベルのないデータに対する最適なラベルを予測するモデルを訓練することで、そのラベルで微調整することにより汎化性能を向上させる、メタラーニングフレームワークであるL2I（Learning to Impute）を提案する。二段階最適化として問題を定式化することで、FixMatch や Mean-Teacher といった最先端の手法に統合された際、半教師あり画像、テキスト、回帰タスクにおいて、特にラベルが少ない状況下で性能が向上する。

ABSTRACT

Recent semi-supervised learning methods have shown to achieve comparable results to their supervised counterparts while using only a small portion of labels in image classification tasks thanks to their regularization strategies. In this paper, we take a more direct approach for semi-supervised learning and propose learning to impute the labels of unlabeled samples such that a network achieves better generalization when it is trained on these labels. We pose the problem in a learning-to-learn formulation which can easily be incorporated to the state-of-the-art semi-supervised techniques and boost their performance especially when the labels are limited. We demonstrate that our method is applicable to both classification and regression problems including image classification and facial landmark detection tasks.

研究の動機と目的

• ヒューリスティックな正則化に依存し、ノイズの多い疑似ラベルに対して過学習しやすい既存の半教師あり学習（SSL）手法の限界を克服すること。
• 固定された正則化戦略に依存するのではなく、モデルの汎化性能を向上させるために、ラベルを直接学習して補完するより直接的なSSLアプローチを開発すること。
• 汎用的で即座に統合可能なフレームワークとして設計することで、分類、回帰、構造予測のタスクに広く適用可能にする。
• ラベルデータが限られる実用的SSL応用において特に重要な低データレジームでの性能向上を実現すること。
• FixMatch や Mean-Teacher、MixMatch といった最先端のSSL手法にスムーズに統合され、それらの性能を向上させること。

提案手法

• ラベル補完問題を二段階最適化として定式化：内側のループでは補完ラベルでモデルを訓練し、外側のループでは汎化性能が向上するように補完関数を最適化する。
• メタラーナーを用いて、ラベルのないデータから疑似ラベルを生成する更新ルールを学習し、その結果得られるモデルが検証誤差を低く抑えるようにする。
• 補完ラベルをニューラルネットワーク（ψ）の出力としてモデル化するか、微分可能なパラメータ（Ψθ）として扱うが、前者が優れた性能を示す。
• 計算コストを削減しながら性能を維持するために、ヘシアン近似に基づく近似更新ルールを導入し、約50%の高速化を達成した。
• FixMatch（FM）、Mean-Teacher（MT）、MixMatch（MM）といった既存のSSL手法にL2Iフレームワークを統合し、それらの標準的な疑似ラベル生成を学習済み補完に置き換える。
• 画像分類（CIFAR-10/100）、顔のランドマーク検出（AFLW）、テキスト分類など多様なタスクに適用し、汎用性を実証した。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな正則化に依存するのではなく、ラベル補完を直接最適化する学習の学習（learning-to-learn）アプローチが、半教師あり学習における汎化性能を向上させられるか。
• RQ2 少数のラベル例しか利用できない状況下で、L2Iの性能がFixMatch や Mean-Teacher といった最先端のSSL手法と比べてどうなるか。
• RQ3 補完ラベルをモデルの出力として扱うのではなく、学習可能なパラメータとして扱う場合と比較して、出力としてモデル化することで汎化性能とロバスト性が向上するか。
• RQ4 ラベル補完における正確なヘシアンに基づく更新ルールと近似ルールの間で、計算コストと性能のトレードオフはどのようなものか。
• RQ5 L2Iフレームワークは、画像分類にとどまらず、回帰およびテキスト分類タスクにも効果的に拡張可能か。

主な発見

• CIFAR-100で500ラベル（1クラスあたり1%）を使用した場合、L2IをFixMatchに統合することで、ベースラインのFMのテスト誤差48.32%を44.97%に低下させ、相対的な改善率は6.9%に達した。
• AFLWの顔のランドマーク検出で91ラベル（1%）を使用した場合、L2IをMean-Teacherに統合することで、平均二乗誤差を12.80から11.53に低下させ、相対的改善率は10%に達した。
• 近似更新ルールは正確なバージョンと同等の性能を達成しながら、トレーニング時間を約50%短縮したため、大規模な用途において実用的であることが示された。
• 回帰および画像分類タスクにおいて、補完ラベルをネットワークの出力（O）としてモデル化する方が、学習可能なパラメータ（L）として扱うよりも優れた性能を示した。特にCIFAR-100では顕著な向上が見られた。
• 重複するサンプルを用いたジョイントトレーニングとホールドアウトセット戦略が、互いに排他的なセットを用いる別々の戦略を上回った。これは、補完の過程で検証フィードバックを活用することで、より良い汎化性能が得られることを示している。
• L2Iは、画像分類、顔のランドマーク検出、テキスト分類という多様なタスクにおいて一貫して性能を向上させ、低ラベルレジームにおける汎用性と有効性を実証した。