[論文レビュー] Decoupled Certainty-Driven Consistency Loss for Semi-supervised Learning

Lu Liu, Yiting Li+1 more|arXiv (Cornell University)|Jan 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 16

ひとこと要約

本論文では、一貫性正則化の過程で教師モデルの予測の信頼性に応じて動的に不安定な予測をフィルタリングまたは重み付けを弱めることで、半教師付き学習を向上させる「確信度駆動型一貫性損失（CCL）」を提案する。モデルの差分と予測の不確実性を分離することで、CIFAR-10、CIFAR-100、SVHNの各データセットで最先端の性能を達成し、既存の一体型一貫性正則化手法を上回る。

ABSTRACT

One of the successful approaches in semi-supervised learning is based on the consistency regularization. Typically, a student model is trained to be consistent with teacher prediction for the inputs under different perturbations. To be successful, the prediction targets given by teacher should have good quality, otherwise the student can be misled by teacher. Unfortunately, existing methods do not assess the quality of the teacher targets. In this paper, we propose a novel Certainty-driven Consistency Loss (CCL) that exploits the predictive uncertainty in the consistency loss to let the student dynamically learn from reliable targets. Specifically, we propose two approaches, i.e. Filtering CCL and Temperature CCL to either filter out uncertain predictions or pay less attention on them in the consistency regularization. We further introduce a novel decoupled framework to encourage model difference. Experimental results on SVHN, CIFAR-10, and CIFAR-100 demonstrate the advantages of our method over a few existing methods.

研究の動機と目的

• 既存の一貫性正則化手法が、予測の信頼性にかかわらずすべての教師予測を同等に扱うという限界を是正すること。
• 予測の不確実性に基づいて教師予測の影響を動的に調整することで、モデルの一般化性能を向上させること。
• 学生モデルと教師モデルの間で有意義な差を生じさせるための分離型フレームワークを構築すること。
• 半教師付き学習において、低品質または不確実な教師予測が引き起こすモデルの劣化リスクを低減すること。

提案手法

• 教師出力の予測不確実性に基づいて一貫性損失を調整する「確信度駆動型一貫性損失（CCL）」を提案する。
• 2つの変種を導入：フィルタリングCCL（不確実な予測を損失計算から除外）、温度CCL（温度スケーリングを用いたソフトラベルにより不確実な予測の損失重みを低下）。
• 学生モデルと教師モデルの間の発散を促進することで共適応を防ぎ、耐性を高める分離型トレーニングフレームワークを採用する。
• エントロピーに基づく不確実性推定を用いて低信頼度の予測を特定し、一貫性正則化プロセスをガイドする。
• データ拡張を適用して入力の摂動版を生成し、学生の予測とフィルタリングまたは重み付けされた教師出力の間の一貫性を強制する。
• ラベル付きデータに対する教師付き損失と、ラベル付きおよびラベルなしデータに対する不確実性を考慮した一貫性損失の組み合わせにより、学生モデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 予測の不確実性を効果的に活用することで、半教師付き学習における一貫性正則化の信頼性を向上させることができるか？
• RQ2 不確実な教師予測のフィルタリングまたは重み付けの低下が、モデルの一般化性能および耐性にどのように影響するか？
• RQ3 学生モデルと教師モデルの差を促進する分離型トレーニングフレームワークは、半教師付き学習においてより良い性能をもたらすか？
• RQ4 提案手法CCLは、標準ベンチマークにおいて既存の一体型一貫性正則化手法をどの程度上回るか？

主な発見

• 提案された確信度駆動型一貫性損失（CCL）は、高品質な教師予測に注目することで、半教師付き学習の性能を顕著に向上させる。
• フィルタリングCCLと温度CCLの両方とも、不確実またはノイズの多い教師出力の影響を低減することで、より良い一般化性能を達成する。
• 分離型フレームワークはモデルの多様性を高め、共適応を防止し、評価されたすべてのデータセットで精度向上に寄与する。
• CIFAR-10では、標準的な半教師付き学習設定下で最先端の性能を達成し、先行する一体型一貫性正則化手法を上回る。
• SVHNおよびCIFAR-100でも一貫した性能向上を示し、異なるデータ分布およびラベル不足の度合いにわたるロバストネスを確認した。
• 実験結果から、不確実性を考慮した一貫性正則化は、より信頼性が高く安定した学習ダイナミクスをもたらすことが示された。