[論文レビュー] UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup

Zongbo Han, Zhipeng Liang+8 more|arXiv (Cornell University)|Sep 19, 2022

Machine Learning and Data Classification被引用数 10

ひとこと要約

本稿では、サブポピュレーションシフト下での重要度重み付けの改善を図るために、サンプルの不確実性に基づいて混合サンプルを再重み付けする、不確実性に配慮したミックスアップフレームワークUMixを提案する。ミックスアップに不確実性推定を統合することで、過パrameter化モデルにおける過学習を軽減し、重み付きERMよりもタイトな一般化バウンドを達成する。多様なベンチマークにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

Subpopulation shift widely exists in many real-world machine learning applications, referring to the training and test distributions containing the same subpopulation groups but varying in subpopulation frequencies. Importance reweighting is a normal way to handle the subpopulation shift issue by imposing constant or adaptive sampling weights on each sample in the training dataset. However, some recent studies have recognized that most of these approaches fail to improve the performance over empirical risk minimization especially when applied to over-parameterized neural networks. In this work, we propose a simple yet practical framework, called uncertainty-aware mixup (UMIX), to mitigate the overfitting issue in over-parameterized models by reweighting the ''mixed'' samples according to the sample uncertainty. The training-trajectories-based uncertainty estimation is equipped in the proposed UMIX for each sample to flexibly characterize the subpopulation distribution. We also provide insightful theoretical analysis to verify that UMIX achieves better generalization bounds over prior works. Further, we conduct extensive empirical studies across a wide range of tasks to validate the effectiveness of our method both qualitatively and quantitatively. Code is available at https://github.com/TencentAILabHealthcare/UMIX.

研究の動機と目的

• サブポピュレーションシフト下で、過パrameter化ニューラルネットワークにおける重要度重み付け（IW）手法が、経験的リスク最小化（ERM）を改善できないという問題に対処する。
• ミックスアップ増幅中に不確実性に配慮したサンプル再重み付けを導入することで、IWベースの手法における過学習を軽減する。
• 理論的裏付けを提示し、UMixが、データの内在次元が低い場合に特に顕著に、重み付きERMよりもタイトな一般化バウンドを達成することを示す。
• グループに依存しないおよびグループに依存する両方の評価設定において、性能を向上させる実用的で効果的なフレームワークを開発する。

提案手法

• 標準的なミックスアップを用いて混合サンプルを生成し、ミニバッチ内の元のサンプルの不確実性に基づいてそれらを再重み付けする、不確実性に配慮したミックスアップ（UMix）を導入する。
• トレーニングトラジェクトリに基づく不確実性推定を用いて、各サンプルの不確実性を定量化し、高不確実性の少数サブポピュレーションサンプルに動的に注目できるようにする。
• 各ミックスアップ操作で使用された2つの元のサンプルの重み付き損失を組み合わせた重み付きミックスアップ損失を定式化し、重みはサブポピュレーション頻度と不確実性から導出する。
• 理論的分析により、UMixの仮説空間がサブポピュレーションの不均一性に依存する一般化バウンドを導くことが示され、rank(Σ_X) ≪ d の場合に重み付きERMよりもタイトである。
• SGDを用いた標準的なトレーニングループに不確実性に配慮した再重み付けを統合し、既存のディープラーニングパイプラインとの互換性を維持する。
• ρ保持性のあるデータ分布の仮定を活用して、ラデマッハ複雑度バウンドを導出し、理論的一般化保証を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 不確実性に配慮したミックスアップは、サブポピュレーションシフト下の過パrameter化モデルにおける重要度重み付けのロバストネスを向上させることができるか？
• RQ2 不確実性に基づいて混合サンプルを再重み付けすることは、標準的な重要度重み付けまたはミックスアップ単体よりも優れた一般化性能を達成するか？
• RQ3 UMixは、特に内在次元が低いデータ環境下で、重み付きERMよりもタイトな一般化バウンドを達成できるか？
• RQ4 UMixは、グループに依存しないおよびグループに依存する両方の評価設定において、多様なタスクで優れた性能を発揮するか？

主な発見

• UMixは、グループに依存しないおよびグループに依存する両方の設定において、複数のベンチマークで先行する重要度重み付け手法（CVaR-DRO や JTT を含む）を一貫して上回る性能を発揮する。
• 理論的分析により、UMixが重み付きERMよりもタイトな一般化バウンドを達成することが確認され、その改善はサブポピュレーションの不均一性およびデータの内在次元に依存する。
• 一般化バウンドにおける赤字項（データの不均一性に関連）は、rank(Σ_X) ≪ d の場合に小さくなり、低次元のサブポピュレーション構造においてより強い理論的保証を示す。
• 実験的結果から、UMixは過パrameter化モデルにおける過学習を効果的に軽減し、標準的なIW手法でよく見られる性能劣化を防ぐことがわかった。
• トレーニングトラジェクトリを用いた不確実性推定は、特に少数サブポピュレーションの高リスクサンプルを的確に特定でき、モデルの公平性とロバストネスの向上に寄与した。
• UMixはアーキテクチャの変更を必要とせず、既存のサブポピュレーションシフト緩和パイプラインに即座に統合可能なプラグアンドプレイな向上策であることが示された。