[論文レビュー] MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning.

Seonghyeon Hwang, Steven Euijong Whang|arXiv (Cornell University)|Jun 7, 2021

Machine Learning and Data Classification参考文献 28被引用数 5

ひとこと要約

MixRL は、モンテカルロ方策勾配を用いて各サンプルごとに最適な混合戦略を学習する強化学習ベースの回帰用データオーグメンテーションフレームワークである。学習された距離閾値内でのみ近隣の訓練例を効果的に混合することで、合成および実世界の回帰データセットにおいて最先端のベースラインを上回るモデル性能を実現する。

ABSTRACT

Data augmentation is becoming essential for improving regression accuracy in critical applications including manufacturing and finance. Existing techniques for data augmentation largely focus on classification tasks and do not readily apply to regression tasks. In particular, the recent Mixup techniques for classification rely on the key assumption that linearity holds among training examples, which is reasonable if the label space is discrete, but has limitations when the label space is continuous as in regression. We show that mixing examples that either have a large data or label distance may have an increasingly-negative effect on model performance. Hence, we use the stricter assumption that linearity only holds within certain data or label distances for regression where the degree may vary by each example. We then propose MixRL, a data augmentation meta learning framework for regression that learns for each example how many nearest neighbors it should be mixed with for the best model performance using a small validation set. MixRL achieves these objectives using Monte Carlo policy gradient reinforcement learning. Our experiments conducted both on synthetic and real datasets show that MixRL significantly outperforms state-of-the-art data augmentation baselines. MixRL can also be integrated with other classification Mixup techniques for better results.

研究の動機と目的

• 分類タスクに主に設計された従来のデータオーグメンテーション技術には、ラベル空間におけるグローバルな線形性を仮定しているという限界があり、連続的なラベルを持つ回帰タスクには最適でない。
• データまたはラベル距離が大きいサンプルを混合すると回帰性能が低下するという問題を克服する。
• 各訓練サンプルについて、どの近隣のサンプルと何個混合するかを、検証性能を最大化するように学習するメタラーニングフレームワークを提案する。
• 強化学習をデータオーグメンテーションと統合し、各サンプルごとに動的に混合戦略を適応させることで、回帰タスクにおける一般化性能を向上させる。
• 既存の分類用 Mixup 方法と互換性を持たせ、ハイブリッドな設定での性能向上を可能にする。

提案手法

• 各訓練サンプルに対してどの近隣サンプルと混合するかを決定するという逐次的意思決定問題として、データ混合を定式化する。
• 検証損失を報酬信号として用い、モンテカルロ方策勾配を用いて混合戦略を最適化する。
• ターゲットサンプルの入力特徴量とラベル、および候補となる近隣サンプルまでの距離を含む状態表現を定義する。
• 確率的方策ネットワークを用いて近隣サンプルの集合をサンプリングし、期待検証性能を最大化するように方策を学習する。
• 混合を学習された例固有の距離閾値内に限定することで、局所的線形性を保ち、有害な補間を回避する。
• 既存の Mixup スタイルのオーグメンテーション手法と統合し、マルチタスクまたは転移学習のシナリオにおけるハイブリッド利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて回帰タスクの最適なデータ混合戦略を効果的に学習できるか？
• RQ2 学習されたデータおよびラベル距離に基づいて、混合を近隣のサンプルに制限することで、グローバルな混合と比較して回帰性能が向上するか？
• RQ3 一般化性能およびレジリエンスの観点から、MixRL は回帰データセットにおいて最先端のデータオーグメンテーションベースラインと比較してどのように差をつけるか？
• RQ4 MixRL を既存の分類用 Mixup 方法と組み合わせることで、混合または転移学習設定での性能をさらに向上させることができるか？

主な発見

• MixRL は合成および実世界の回帰データセットにおいて、従来のデータオーグメンテーションベースラインを顕著に上回り、回帰精度の一貫した向上を示している。
• 標準的な Mixup アプローチでは有害な遠く離れたサンプルの混合を回避することで、一般化性能が向上している。
• 強化学習を用いて例固有の混合閾値を学習することで、固定またはグローバルな距離制約よりも効果的で安定したデータオーグメンテーションが実現されている。
• MixRL は既存の分類用 Mixup 技法と互換性があり、マルチタスク学習への応用可能性を示唆している。
• 実験により、方策勾配ベースのアプローチが、向上した検証性能と相関する意味のある混合戦略を効果的に学習していることが示された。