[論文レビュー] There Are Many Consistent Explanations of Unlabeled Data: Why You Should Average

Ben Athiwaratkun, Marc Finzi+2 more|arXiv (Cornell University)|Jun 14, 2018

Machine Learning and Data Classification被引用数 149

ひとこと要約

論文は一貫性ベースの半教師あり学習を分析し、 SGD が多くの解を探索することを示す。SWAと高速SWAによる重みの平均化は一般化を改善し、限られたラベルで CIFAR-10/100 において最先端の結果を達成する。

ABSTRACT

Presently the most successful approaches to semi-supervised learning are based on consistency regularization, whereby a model is trained to be robust to small perturbations of its inputs and parameters. To understand consistency regularization, we conceptually explore how loss geometry interacts with training procedures. The consistency loss dramatically improves generalization performance over supervised-only training; however, we show that SGD struggles to converge on the consistency loss and continues to make large steps that lead to changes in predictions on the test data. Motivated by these observations, we propose to train consistency-based methods with Stochastic Weight Averaging (SWA), a recent approach which averages weights along the trajectory of SGD with a modified learning rate schedule. We also propose fast-SWA, which further accelerates convergence by averaging multiple points within each cycle of a cyclical learning rate schedule. With weight averaging, we achieve the best known semi-supervised results on CIFAR-10 and CIFAR-100, over many different quantities of labeled training data. For example, we achieve 5.0% error on CIFAR-10 with only 4000 labels, compared to the previous best result in the literature of 6.3%.

研究の動機と目的

• lossの幾何学と訓練手続きが一貫性ベースの半教師ありモデルにどう影響するかを理解する。
• 一貫性損失の下で SGD が収束しにくい理由と、重み平均化が解を安定化させる仕組みを調査する。
• SWAと高速SWAを提案・評価し、一般化を改善する。
• 限られたラベルデータで CIFAR-10/100 における最先端の結果を示す。
• 一貫性ベースの手法への重み平均化の適用に関する実践的指針を提供する。

提案手法

• Piモデルを簡略化して入力のヤコビアンとヘシアン固有値に対する暗黙の正則化を示す。
• Pi、Mean Teacher、および教師なしモデルの訓練軌跡を経験的に比較し、より大きな SGD ステップと多様な解を示す。
• 重み（および予測）を SGD イテレーション間で平均化することが一般化を著しく改善する。
• SWAと cyclical learning rate およびサイクルごとの複数点平均化を用いた fast-SWA を導入する。
• CIFAR-10/100 で Pi と Mean Teacher に SWA/fast-SWA を適用し、ラベル付き/未ラベル付きデータを変化させて改善を報告する。

実験結果

リサーチクエスチョン

• RQ1 一貫性損失は損失面の幾何とモデルの一般化にどう影響するか？
• RQ2 一貫性ベースの手法における SGD 軌跡はなぜ多様で、テスト予測にどんな影響を与えるか？
• RQ3 SWA/fast-SWA によるイテレートの重み平均化は、半教師ありモデルの単一 SGD 解法や標準エンセムブルより優れているか？
• RQ4 Pi と Mean Teacher が SWA/fast-SWA と組み合わせて CIFAR-10/100 で新しい最先端を達成するか？
• RQ5 追加の未ラベルデータ（例: Tiny Images）は SWA/fast-SWA と組み合わせたとき性能にどう影響するか？

主な発見

• 簡略化された Pi モデルは入力-出力ヤコビアンノルムおよびヘシアン固有値を暗黙的に正則化し、より平坦な解を促進する。
• 一貫性ベースのモデル（Pi と MT）は、教師ありモデルよりも重み空間の軌道が大きく、予測の多様性が高い。
• SWA または予測の重み平均化は一般化を大きく改善し、Pi/MT の方が教師あり学習よりも大きな利得を得る。
• SWA と高速版（fast-SWA）の適用は収束を大幅に速め、CIFAR-10/100 で半教師ありの最先端結果を達成する。例：CIFAR-10 は 4k ラベルで 5.0% 誤差。
• Fast-SWA は SWA よりも早く収束し、多くの設定でサイクルを少なくとも同等かそれ以上の性能で達成する。
• Fast-SWA は関連ドメイン適応タスク（CIFAR-10 から STL）を 19.9% から 16.8% の誤差へ改善する。