[論文レビュー] Active Mini-Batch Sampling using Repulsive Point Processes

Cheng Zhang, Cengiz Öztireli+2 more|arXiv (Cornell University)|Apr 8, 2018

3D Shape Modeling and Analysis参考文献 19被引用数 9

ひとこと要約

本稿では、反発性点過程を用いたアクティブミニバッチサンプリングを提案し、SGDにおける勾配の分散を低減し収束を加速する。計算コストの高いDPPの代わりに、効率的なポアソンディスクサンプリングを活用することで、追加の推論コストなしに、視覚および音声タスクにおいて高速なトレーニングと向上したモデル性能を達成する。

ABSTRACT

The convergence speed of stochastic gradient descent (SGD) can be improved by actively selecting mini-batches. We explore sampling schemes where similar data points are less likely to be selected in the same mini-batch. In particular, we prove that such repulsive sampling schemes lowers the variance of the gradient estimator. This generalizes recent work on using Determinantal Point Processes (DPPs) for mini-batch diversification (Zhang et al., 2017) to the broader class of repulsive point processes. We first show that the phenomenon of variance reduction by diversified sampling generalizes in particular to non-stationary point processes. We then show that other point processes may be computationally much more efficient than DPPs. In particular, we propose and investigate Poisson Disk sampling---frequently encountered in the computer graphics community---for this task. We show empirically that our approach improves over standard SGD both in terms of convergence speed as well as final model performance.

研究の動機と目的

• 反発性点過程を用いてミニバッチの多様性を積極的に高めることで、SGDにおける確率的勾配の分散を低減すること。
• DPPベースのサンプリングを超えて、適応的密度および相関を持つより広範な反発性プロセスのクラスに一般化すること。
• 実用的かつ計算効率の良いサンプリング手法を開発し、特に大規模学習においてDPPを凌駆すること。
• 特徴類似度および不確実性に基づくデータサンプリングのアクティブバイアスにより、収束速度と最終的なモデルパフォーマンスを向上させること。
• 意思決定境界付近で特に有益な多様で情報量の多いサンプルを優遇することで、効率的かつスケーラブルなトレーニングを実現し、一般化性能を向上させること。

提案手法

• フレームワークは、類似したデータポイントが同時に出現する確率を低くすることで勾配分散を低減する反発性点過程をミニバッチ選択に用いる。
• 非定常的かつ適応的点過程へのDPPベースのサンプリングの一般化により、動的密度および相関調整が可能になる。
• DPPの代替として、ダートスローニングを用いたポアソンディスクサンプリング（PDS）を提案し、サンプリングコストをO(Nk³)からO(k²)に削減する。
• PDSに適応的ディスクサイズおよび密度を導入し、難易度の高いまたはレアな例を優先するようなアクティブバイアスを実装する。
• 入力空間の特徴に基づく反発性プロセスサンプリングに置き換えることで、標準的なSGDに統合する。
• 自己ペース学習を模倣するためのアニーリングスケジュールを適用し、段階的に難易度の高いまたは頻度の低い例に注力する。

実験結果

リサーチクエスチョン

• RQ1 反発性点過程は、ミニバッチSGDにおける確率的勾配推定器の分散を低減できるか？
• RQ2 DPP以外の反発性プロセス（例：ポアソンディスクサンプリング）を用いることで、著しく低い計算コストで同等または優れたパフォーマンスが得られるか？
• RQ3 点過程における適応的密度および相関構造は、モデルの一般化性能および収束速度を向上させられるか？
• RQ4 特徴多様性に基づくアクティブミニバッチサンプリングは、標準的なSGDおよび先行するアクティブバイアス手法と比較して、最終的な精度およびトレーニング速度において優れているか？
• RQ5 サンプリングプロセスに不確実性または難易度指標（例：ミンギングインデックス）を組み込むことで、どの程度の恩恵が得られるか？

主な発見

• ポアソンディスクサンプリングにより、DPPのO(Nk³)からO(k²)にサンプリングコストが削減され、スケーラブルで効率的なミニバッチ選択が可能になる。
• すべてのPDSバージョン（バニラ、イージー、デュース、アニール）が、MNISTおよび音声コマンド認識タスクにおいて、標準的なSGDを上回る収束速度と最終テスト精度を達成する。
• アニールPDSは、難易度の高い例に段階的に注力する適応的サンプリングにより自己ペース学習を模倣し、MNISTで最も速い初期収束と最良の最終パフォーマンスを達成する。
• より複雑な音声データセットでは、データがクラスタリングされていないため、PDS手法はMNISTよりも顕著なパフォーマンス向上を示し、挑戦的で非一様なデータ分布において強い利点を示す。
• デュースPDSおよびアニールPDSは、非自明で分類が難しい例を優先することで、意思決定境界をアクティブバイアスにより精緻化し、性能を向上させる。
• 追加の計算コストなしにモデルパフォーマンスが向上することを示しており、多様性のあるサンプリングによる分散低減が、トレーニングダイナミクスおよび一般化性能の両方を向上させることを実証している。