[論文レビュー] Stochastic Learning on Imbalanced Data: Determinantal Point Processes for Mini-batch Diversification.

Cheng Zhang, Hedvig Kjellström+1 more|arXiv (Cornell University)|May 1, 2017

Markov Chains and Monte Carlo Methods被引用数 11

ひとこと要約

本稿では、勾配の分散を低減し、確率的勾配降下法におけるデータの多様性を向上させるために、決定的ポイントプロセス（DPPs）を用いた非一様ミニバッチサンプリング手法であるBalanced Mini-batch SGD（BM-SGD）を提案する。データポイント間の類似性を測定することで、BM-SGDは勾配の分散を低減し、一般化性能を向上させ、非教師あり特徴多様性および教師あり分類精度の両面で、標準的なSGDおよび層別サンプリングを上回る性能を達成する。

ABSTRACT

We study a mini-batch diversification scheme for stochastic gradient descent (SGD). While classical SGD relies on uniformly sampling data points to form a mini-batch, we propose a non-uniform sampling scheme based on the Determinantal Point Process (DPP). The DPP relies on a similarity measure between data points and gives low probabilities to mini-batches which contain redundant data, and higher probabilities to mini-batches with more diverse data. This simultaneously balances the data and leads to stochastic gradients with lower variance. We term this approach Balanced Mini-batch SGD (BM-SGD). We show that regular SGD and stratified sampling emerge as special cases. Furthermore, BM-SGD can be considered a generalization of stratified sampling to cases where no discrete features exist to bin the data into groups. We show experimentally that our method results more interpretable and diverse features in unsupervised setups, and in better classification accuracies in supervised setups.

研究の動機と目的

• 不均衡データセットにおける確率的勾配降下法（SGD）のミニバッチサンプリングにおけるデータの重複問題に対処すること。
• 非一様サンプリングによりミニバッチ内の多様性を促進することで、勾配の分散を低減すること。
• 離散的なグループ化特徴が存在しない状況において、層別サンプリングを一般化すること。
• 非教師あり学習における特徴の解釈可能性を向上させるとともに、教師あり学習における分類精度を向上させること。

提案手法

• 本手法は、ミニバッチ上の確率分布をモデル化するために決定的ポイントプロセス（DPP）を用いる。
• DPPは、データポイント間の学習済みまたは事前定義された類似性測度に基づき、冗長なミニバッチには低い確率、多様性の高いミニバッチには高い確率を割り当てる。
• サンプリング方式は、データ分布のバランスを保ちつつ、確率的勾配の分散を低減することを目的として設計されている。
• 本手法は、古典的なSGD（一様サンプリング）および離散的なグループが存在する場合の層別サンプリングを特別なケースとして一般化する。
• 本手法は、多様性を促進しつつ代表性を維持するDPP尤度関数の最適化によって実装される。
• 本フレームワークは、標準的なディープラーニングパイプラインと互換性があり、既存のSGDベースの学習ワークフローに容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 DPPに基づく非一様サンプリングは、不均衡データにおけるミニバッチSGDの勾配分散を低減できるか？
• RQ2 BM-SGDは、古典的SGDおよび層別サンプリングと比較して、モデルの精度および特徴多様性の観点でどのように異なるか？
• RQ3 離散的な特徴が利用できない状況において、DPPに基づくサンプリングは、層別サンプリングをどの程度一般化できるか？
• RQ4 BM-SGDは、非教師あり表現学習において、より解釈可能で多様性のある特徴をもたらすか？
• RQ5 BM-SGDは、不均衡データを伴う教師あり学習の設定において分類性能を向上させられるか？

主な発見

• BM-SGDは、ミニバッチ内の冗長性を低減することで、古典的SGDに比べて低い勾配分散を達成する。
• 非教師あり学習の設定において、特徴の散らばり具合や多様性指標を用いて測定したところ、本手法はより多様で解釈可能な特徴を生成する。
• 教師あり学習のタスクにおいて、特に不均衡データセットにおいて分類精度が向上する。
• 離散的なグループ化特徴が存在しない状況でも、層別サンプリングを一般化し、同等またはそれ以上の性能を発揮する。
• 複数のベンチマークデータセットにおいて、特徴多様性および予測性能の両面で、標準的SGDおよび層別サンプリングを上回る性能をBM-SGDが達成する。