[論文レビュー] Inefficiency of Data Augmentation for Large Sample Imbalanced Data.

James E. Johndrow, Aaron Smith+2 more|arXiv (Cornell University)|May 19, 2016

Bayesian Methods and Mixture Models参考文献 43被引用数 6

ひとこと要約

本稿は、大規模で不均衡なカテゴリカルデータ設定において、データ拡張ギブスサンプリングが極めて悪い混合特性を示すことを実証しており、スペクトルギャップがサンプルサイズの平方根に比例するか、それ以上の速度で減少することを明らかにしている。これに対して、非拡張アルゴリズムは迅速な混合を示し、このような状況下での標準的なデータ拡張の根本的な非効率性が明らかになる。

ABSTRACT

Many modern applications collect large sample size and highly imbalanced categorical data, with some categories being relatively rare. Bayesian hierarchical models are well motivated in such settings in providing an approach to borrow information to combat data sparsity, while quantifying uncertainty in estimation. However, a fundamental problem is scaling up posterior computation to massive sample sizes. In categorical data models, posterior computation commonly relies on data augmentation Gibbs sampling. In this article, we study computational efficiency of such algorithms in a large sample imbalanced regime, showing that mixing is extremely poor, with a spectral gap that converges to zero at a rate proportional to the square root of sample size or faster. This theoretical result is verified with empirical performance in simulations and an application to a computational advertising data set. In contrast, algorithms that bypass data augmentation show rapid mixing on the same dataset.

研究の動機と目的

• 大規模で不均衡なカテゴリカルデータ設定におけるデータ拡張ギブスサンプリングの計算効率を調査すること。
• このようなデータ環境下での後退計算における混合の悪さの根本的要因を特定すること。
• 実データおよびシミュレートデータにおける、データ拡張ベースのアルゴリズムと非拡張代替手法の混合行動を比較すること。
• 不均衡データに対するベイジアン階層モデルにおけるデータ拡張のスケーリング制限について、理論的および実証的証拠を提供すること。

提案手法

• 大規模で不均衡なカテゴリカルモデルにおけるデータ拡張ギブスサンプラーのスペクトルギャップの理論的分析。
• スペクトルギャップの収束レートの導出。サンプルサイズnの増加に伴い、√nに比例するか、それ以上の速度で減少することを示した。
• 制御された不均衡データ環境下でのシミュレーションを用いた実証的検証。
• 極度のクラス不均衡を示す実世界のコンピュータ広告データセットへの手法の適用。
• 同じデータ上でのデータ拡張ギブスサンプラーと非拡張MCMCアルゴリズムの混合性能の比較。

実験結果

リサーチクエスチョン

• RQ1 不均衡なカテゴリカルデータにおいて、サンプルサイズが増加するに従い、データ拡張ギブスサンプラーの混合時間はどのように変化するか？
• RQ2 この状況下でのデータ拡張におけるスペクトルギャップの理論的減少レートは何か？
• RQ3 非拡張MCMCアルゴリズムは、同じデータセット上で混合性能でどのように比較されるか？
• RQ4 データ拡張の非効率性は、実世界の大規模で不均衡なデータ応用においても継続的に見られるか？

主な発見

• データ拡張ギブスサンプラーのスペクトルギャップは、サンプルサイズの平方根に比例するか、それ以上の速度でゼロに減少し、極めて悪い混合特性を示している。
• シミュレーションにより、サンプルサイズの増加に伴い混合時間が著しく増加することが確認され、理論的減少レートと整合的である。
• 極度のクラス不均衡を示す実世界のコンピュータ広告データセットにおいて、データ拡張ギブスサンプラーは非常に遅い収束を示した。
• 非拡張MCMCアルゴリズムは、同じデータセット上で迅速な混合を示し、理論的および実践的両面でデータ拡張を上回った。