[論文レビュー] C-Mixup: Improving Generalization in Regression

Huaxiu Yao, Yiping Wang+3 more|arXiv (Cornell University)|Oct 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

C-Mixup は、特徴量に基づくサンプリングや一様サンプリングではなく、ラベルの類似度に基づいて訓練ペアをサンプリングすることで、一般化性能を向上させる回帰用の新しいデータ拡張手法である。ラベル間の距離にガウスカーネルを適用することで、ノイズの多い補間を低減し、11のデータセットにおいて分布内一般化、タスク一般化、分布外耐性の面で最先端の性能を達成しており、従来手法比最大6.56%の向上を実現した。

ABSTRACT

Improving the generalization of deep networks is an important open challenge, particularly in domains without plentiful data. The mixup algorithm improves generalization by linearly interpolating a pair of examples and their corresponding labels. These interpolated examples augment the original training set. Mixup has shown promising results in various classification tasks, but systematic analysis of mixup in regression remains underexplored. Using mixup directly on regression labels can result in arbitrarily incorrect labels. In this paper, we propose a simple yet powerful algorithm, C-Mixup, to improve generalization on regression tasks. In contrast with vanilla mixup, which picks training examples for mixing with uniform probability, C-Mixup adjusts the sampling probability based on the similarity of the labels. Our theoretical analysis confirms that C-Mixup with label similarity obtains a smaller mean square error in supervised regression and meta-regression than vanilla mixup and using feature similarity. Another benefit of C-Mixup is that it can improve out-of-distribution robustness, where the test distribution is different from the training distribution. By selectively interpolating examples with similar labels, it mitigates the effects of domain-associated information and yields domain-invariant representations. We evaluate C-Mixup on eleven datasets, ranging from tabular to video data. Compared to the best prior approach, C-Mixup achieves 6.56%, 4.76%, 5.82% improvements in in-distribution generalization, task generalization, and out-of-distribution robustness, respectively. Code is released at https://github.com/huaxiuyao/C-Mixup.

研究の動機と目的

• ラベルが類似しない例から任意にラベルを補間するため、通常の mixup が回帰において一般化性能に劣る問題に対処すること。
• 分布内一般化、メタラーニングにおけるタスク一般化、回帰タスクにおける分布外耐性の向上を図ること。
• ペair サンプリングに特徴量ベースの類似度の代わりにラベルベースの類似度を採用することで、計算コストを低減し、補間品質を向上させること。
• 誤った相関関係やドメインシフトを緩和するスケーラブルで、頑健かつ理論的裏付けのある回帰手法を開発すること。

提案手法

• C-Mixup は、連続ラベル間のユークリッド距離に基づいて、混合ペアのサンプリング確率をガウスカーネルで計算する。
• 一様または特徴量ベースのサンプリングに代えて、ラベルの類似度を用いることで、ラベルが近い例のみが混合されやすいように保証する。
• 標準的な学習に統合するために、混合係数 λ ~ Beta(α, α) を用いて特徴量とラベルを線形補間する。
• MetaMix を通じてメタラーニングに拡張され、C-Mixup は MAML をベースとする少数ショット回帰におけるタスク一般化を向上させる。
• 2段階のプロセスで適用される：まず、距離計算のための隠れ表現を計算し、次にラベルまたは表現ベースの類似度を用いて mixup を実行する。
• ガウスカーネルにおけるバンド幅パラメータ σ を用いて、類似度重み付けの感度を制御し、広い σ の範囲で実験的に頑健であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 ラベルベースのサンプリングは、一様または特徴量ベースのサンプリングと比較して、回帰タスクにおける一般化性能を向上させることができるか？
• RQ2 C-Mixup は、ドメイン不変表現を促進することで、分布外耐性を向上させることができるか？
• RQ3 C-Mixup は、通常の mixup と比較して、少数ショット回帰におけるメタラーニング設定でどのように性能を発揮するか？
• RQ4 C-Mixup は、バンド幅 σ やベータ分布の形状パラメータ α といったハイパーパrameterの選択に対して頑健か？
• RQ5 ラベルノイズ下での C-Mixup の性能はどのようになるか？標準的な mixup と比較して優位性を維持できるか？

主な発見

• C-Mixup は、評価された回帰タスクにおいて、最良の先行手法比で分布内一般化性能を 6.56% 向上させた。
• メタラーニング設定では、通常の MetaMix と比較してタスク一般化性能が 4.76% 向上した。
• 分布外耐性においては 5.82% の向上を達成し、特に共変量シフト下で顕著であった。
• ハイパーパrameterの選択に対して頑健である：バンド幅 σ および形状パラメータ α の広い範囲で性能が安定した。
• 11のデータセット（表形式、画像、動画データを含む）において、C-Mixup は通常の mixup や特徴量類似度ベースの mixup をすべて上回った。
• 30% のラベルノイズ下でも、C-Mixup は ERM より平均で 1.0%、mixup より 1.3% の RMSE を低減し、優れた性能を維持した。