[論文レビュー] Determinantal Point Processes for Mini-Batch Diversification

Cheng Zhang, Hedvig Kjellström+1 more|arXiv (Cornell University)|May 1, 2017

Stochastic Gradient Optimization Techniques参考文献 41被引用数 13

ひとこと要約

本稿では、データポイント間の類似度カーネルを用いて多様性のあるミニバッチを生成する、決定的ミニバッチ確率的勾配降下法（DM-SGD）を提案する。この手法は、決定的ポイントプロセス（DPP）を用いて非一様なミニバッチサンプリングを実現し、トレーニングの多様性を向上させるとともに勾配の分散を低減する。類似度カーネルを活用することで、DM-SGDは均一なサンプリングに比べて収束速度と分類精度が向上し、特にデータが不均衡な状況下で顕著な効果を示す。

ABSTRACT

We study a mini-batch diversification scheme for stochastic gradient descent (SGD). While classical SGD relies on uniformly sampling data points to form a mini-batch, we propose a non-uniform sampling scheme based on the Determinantal Point Process (DPP). The DPP relies on a similarity measure between data points and gives low probabilities to mini-batches which contain redundant data, and higher probabilities to mini-batches with more diverse data. This simultaneously balances the data and leads to stochastic gradients with lower variance. We term this approach Diversified Mini-Batch SGD (DM-SGD). We show that regular SGD and a biased version of stratified sampling emerge as special cases. Furthermore, DM-SGD generalizes stratified sampling to cases where no discrete features exist to bin the data into groups. We show experimentally that our method results more interpretable and diverse features in unsupervised setups, and in better classification accuracies in supervised setups.

研究の動機と目的

• 確率的勾配降下法におけるデータの不均衡問題を、ミニバッチの多様性を向上させることで解決すること。
• データの類似度に基づく非一様サンプリングにより、確率的勾配の分散を低減すること。
• 離散的特徴や事前に定義された層が存在しない状況に対しても、層別サンプリングを一般化すること。
• 学習目的に依存せずに事前に計算された多様性のあるミニバッチを、複数の学習タスクで再利用可能にする仕組みを提供すること。

提案手法

• 重複の可能性が低いミニバッチをサンプリングするために、決定的ポイントプロセス（DPP）を用いる。
• 深層特徴とクラスラベルを組み合わせた行列 $ F = [(1-w)X_{fc1} \quad wH] $ を用いて、類似度カーネル $ L = FF^T $ を構築する。
• ハイパーパrameter $ w $ を用いて、クラス内およびクラス間の多様性のバランスをとる重み付き線形カーネルを採用する。
• DM-SGDが勾配の分散を低減する条件を導出し、収束速度の向上を保証する。
• パrameter $ w=0 $ のときにはi.i.d.サンプリング、$ w=1 $ のときにはバイアス付き層別サンプリングが特殊ケースとして得られることを示す。
• 学習目的に依存せず、事前に多様性のあるミニバッチを計算するため、複数のモデル間で再利用可能である。

実験結果

リサーチクエスチョン

• RQ1 離散的な層が存在しない状況下でも、DPPに基づくサンプリングが勾配の分散を低減できるか。
• RQ2 DM-SGDは標準的なSGDや層別サンプリングと比較して、収束性および精度においてどのように異なるか。
• RQ3 ミニバッチの多様性が、教師なしモデルにおける特徴の解釈可能性にどの程度寄与するか。
• RQ4 DM-SGDは、連続的または非離散的なデータ構造に対しても、層別サンプリングを一般化できるか。
• RQ5 サンプリングにバイアスを導入しても、DM-SGDは収束保証を維持できるか。

主な発見

• DM-SGDは、特に小さなミニバッチサイズの下で、ランダムサンプリングに比べて収束が速く、テスト精度も高い。
• CIFAR-10では、$ w=0.9 $ および $ w=0.7 $ の場合、ベースラインのランダムサンプリングよりも優れた分類性能を達成した。
• トピックモデリングの文脈では、DM-SGDはi.i.d.サンプリングに比べ、より解釈可能で判別力のある文書特徴を生成した。
• バランスの取れたMNISTデータセットでさえも、DM-SGDはランダムサンプリングを上回った。これは、分散低減の有効性が顕著に現れ、手法の頑健性を示している。
• パrameter $ w=1 $ の場合、DM-SGDはバイアス付き層別サンプリングに簡約され、理論的一般化の妥当性が裏付けられた。
• 本手法は、カーネルパrameter $ w $ に応じて、i.i.d.サンプリングおよび層別サンプリングの特殊ケースとして一般化可能である。