[論文レビュー] MetaMixUp: Learning Adaptive Interpolation Policy of MixUp with Meta-Learning

Zhijun Mai, Guosheng Hu+3 more|arXiv (Cornell University)|Aug 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 6

ひとこと要約

MetaMixUp は、メタラーニングに基づく手法を提案し、MixUp のためのデータ適応的補間ポリシーを動的に学習することで、汚損された仮想サンプルによるアンダーフィットを低減し、一般化性能を向上させる。通常の MixUp がランダムにベータ分布で補間するのに対し、MetaMixUp はオンラインメタ最適化を用いて補間係数を改善し、CIFAR-10 および SVHN における教師ありおよび教師なし学習で最先端の性能を達成している。

ABSTRACT

MixUp is an effective data augmentation method to regularize deep neural networks via random linear interpolations between pairs of samples and their labels. It plays an important role in model regularization, semi-supervised learning and domain adaption. However, despite its empirical success, its deficiency of randomly mixing samples has poorly been studied. Since deep networks are capable of memorizing the entire dataset, the corrupted samples generated by vanilla MixUp with a badly chosen interpolation policy will degrade the performance of networks. To overcome the underfitting by corrupted samples, inspired by Meta-learning (learning to learn), we propose a novel technique of learning to mixup in this work, namely, MetaMixUp. Unlike the vanilla MixUp that samples interpolation policy from a predefined distribution, this paper introduces a meta-learning based online optimization approach to dynamically learn the interpolation policy in a data-adaptive way. The validation set performance via meta-learning captures the underfitting issue, which provides more information to refine interpolation policy. Furthermore, we adapt our method for pseudo-label based semisupervised learning (SSL) along with a refined pseudo-labeling strategy. In our experiments, our method achieves better performance than vanilla MixUp and its variants under supervised learning configuration. In particular, extensive experiments show that our MetaMixUp adapted SSL greatly outperforms MixUp and many state-of-the-art methods on CIFAR-10 and SVHN benchmarks under SSL configuration.

研究の動機と目的

• ランダムにサンプリングされた、不適切な補間ポリシーが原因で生じる通常の MixUp におけるアンダーフィット問題を解消すること。
• 多様体への侵入や曖昧なラベルの混合を避けるデータ適応的補間ポリシーを学習することで、モデルの一般化性能を向上させること。
• 検証性能フィードバックを用いて MixUp ポリシーを最適化するメタラーニングフレームワークを構築し、オンラインで継続的な適応を可能とすること。
• 限られたアノテーションを持つベンチマークで、精密な疑似ラベル戦略を統合した教師なし学習への拡張を図ること。
• 提案手法が、教師ありおよび教師なしの両設定において、複数のベンチマークで通常の MixUp やその変種を上回ることを実証すること。

提案手法

• MetaMixUp は、検証セットの性能を信号として用い、各サンプルペアの補間係数 λ を最適化するメタモデルが学習するメタラーニングの枠組みを採用する。
• 本手法は、補間係数 λ を微分可能かつ連続的に最適化するオンライン勾配ベースのメタ最適化を用い、ポリシー候補の離散的探索を回避する。
• メタモデルは検証セット上の期待損失を最小化するように訓練され、これによりアンダーフィットリスクが捉えられ、頑健な補間ポリシーの学習が促進される。
• 主モデルは訓練中に学習された λ 値を使用するが、メタモデルは主モデルの検証データ上での性能フィードバックに基づいて更新される。
• 教師なし学習では、MetaMixUp は信頼度しきい値を用いた疑似ラベル戦略と統合され、σd が疑似ラベルの信頼度しきい値の減衰を制御する。
• 理論的には、MixUp 損失が勾配リプシッツ定数の下界であることを示しており、補間品質とモデルの頑健性の間の関係を明確にしている。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いて、ランダムサンプリングを超えるデータ適応的補間ポリシーを効果的に学習できるか？
• RQ2 訓練中に学習された補間ポリシー分布はどのように変化するか？また、クラス固有のパターンに収束するか？
• RQ3 特に分布シフトが顕著な状況下で、MetaMixUp は通常の MixUp よりも多様体への侵入やアンダーフィットを緩和するか？
• RQ4 教師なし学習における信頼度減衰率 σd のハイパーパramータ選択に対して、MetaMixUp はどれほどロバストか？
• RQ5 MetaMixUp は、教師ありおよび教師なし学習ベンチマークで、最先端の性能を達成できるか？

主な発見

• ResNet-50 を CIFAR-10 で訓練した結果、MetaMixUp は通常の MixUp よりも顕著に訓練損失を低減しており、収束性の向上とアンダーフィットの低減を示している。
• MNIST では、λ = 0 および λ = 1 の相対頻度が MetaMixUp で増加しており、衝突や劣化のリスクがある場合に混合を回避していることが示唆されている。
• CIFAR-10 では、学習経過とともに補間ポリシー分布がランダムからデータ固有のものに変化し、λ 値が訓練エポックに伴いクラス固有の領域に収束している。
• 教師なし学習において、MetaMixUp は CIFAR-10 で 11.22%、SVHN で 5.34% のテスト誤差率を達成し、MixUp や最先端手法を上回っている。
• ハイパーパラメータ σd に対してロバストであり、0.01 から 0.2 の範囲で性能にほとんど変動がなく、感度が低いことが示された。
• 理論的分析により、MixUp 損失が勾配リプシッツ定数の下界であることが確認され、補間ポリシー品質の重要性を形式的に裏付けた。