[論文レビュー] Wasserstein Measure Coresets

Sebastian Claici, Aude Genevay+1 more|arXiv (Cornell University)|May 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 4

ひとこと要約

この論文は、最適輸送理論を用いて元のデータ分布を明示的に考慮することで、古典的な離散コアセットを一般化する新しいフレームワーク「ワッサースタイン測度コアセット」を導入する。確率的勾配降下法を用いてワッサースタイン距離を最小化することで、クラスタリング、分類、ベイジアン推論のタスクにおいて、強い一般化保証を伴うオンラインでメモリ効率の良いコアセット構築が可能になる。

ABSTRACT

The proliferation of large data sets and Bayesian inference techniques motivates demand for better data sparsification. Coresets provide a principled way of summarizing a large dataset via a smaller one that is guaranteed to match the performance of the full data set on specific problems. Classical coresets, however, neglect the underlying data distribution, which is often continuous. We address this oversight by introducing Wasserstein measure coresets, an extension of coresets which by definition takes into account generalization. Our formulation of the problem, which essentially consists in minimizing the Wasserstein distance, is solvable via stochastic gradient descent. This yields an algorithm which simply requires sample access to the data distribution and is able to handle large data streams in an online manner. We validate our construction for inference and clustering.

研究の動機と目的

• 古典的なコアセットが元のデータ分布を無視し、実務的なデータセットにのみ焦点を当てるという限界を克服すること。
• 離散的なサンプルではなく連続的なデータ分布を近似する新しいコアセットの概念——測度コアセット——を形式化すること。
• 最適輸送理論を活用して一般化誤差を最小化する原理的で整合性のあるコアセット構築法——ワッサースタイン測度コアセット——を提唱すること。
• 最小限のメモリと計算コストで、オンラインかつ確率的最適化アルゴリズムによるコアセット構築法を開発すること。
• 1つのコアセットがクラスタリング、SVM分類、ベイジアン推論といった複数の学習タスクに普遍的に適用可能であることを実証すること。

提案手法

• 真のデータ分布とのワッサースタイン距離を最小化する有限サポートを持つ測度として測度コアセットを定義する。
• ワッサースタイン距離を目的関数として用いることで、コアセット構築を確率的最適化問題として定式化する。
• ミニバッチのデータを用いて繰り返しコアセット点と重みを更新する確率的勾配降下法（SGD）を適用し、オンライン学習を可能にする。
• 最適輸送とコアセットの理論的関係を活用して、リプシッツ連続変換下での一般化誤差バウンドと安定性を導出する。
• 計算効率とノイズへのロバストネスを向上させるために、エントロピー正則化付き最適輸送を用いる。
• ラベル付きサブセット（例：SVM用）にコアセットを構築するなどして、異なる学習タスクに適応する。また、ベイジアン推論では事後分布の近似にコアセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 コアセットは、離散的データセットを越えて、元の連続的データ分布を考慮するように一般化可能か？
• RQ2 最適輸送理論をどのように用いることで、一般化を保証する原理的で整合性のあるコアセット構築法を定義できるか？
• RQ3 最小限のメモリで、ストリーミング形式のオンライン学習に適した確率的勾配降下法を、コアセット構築に効果的に適用できるか？
• RQ4 さまざまな学習タスクにおいて、ワッサースタイン測度コアセットは、古典的なコアセットや重要度サンプリング手法と比較して、性能に優れているか？
• RQ5 異なるワッサースタイン距離の下で、ワッサースタイン測度コアセットに対して一般化誤差バウンドなどの理論的保証を導出できるか？

主な発見

• ベイジアン推論において、ワッサースタイン測度コアセットは一様サンプリングよりも著しく優れており、フルデータ事後分布とのKLダイバージェンスをより効果的に低減する。
• k-均値クラスタリングにおいて、W₂コアセットはサイズ10の最適コアセットと同等の性能を達成しており、バランスの取れたk-均値最適化と同等であることが示された。
• 提案された確率的アルゴリズムにより、フルデータセットを保存せずにオンラインコアセット構築が可能となり、大規模およびストリーミングデータに適している。
• SVM分類において、ワッサースタインフレームワークを用いて構築されたコアセットは、コアセットサイズが大きい場合、フルデータセットで学習した場合よりも優れた一般化性能を示した。これは、外れ値の除去とバランスの取れたサンプリングによるものと推定される。
• 分布シフトに対してもロバストであり、リプシッツ連続損失関数下でも性能を維持しており、理論的安定性保証の妥当性が裏付けられた。
• ベイジアン推論分野では最先端の性能を達成しているわけではないが、依然として一様サンプリングよりも著しく優れており、強力な実用的有用性を示している。