[論文レビュー] Wasserstein Coresets for Lipschitz Costs.

Sebastian Claici, Justin Solomon|arXiv (Cornell University)|May 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 5

ひとこと要約

この論文は、最適輸送理論を活用してリプシッツ連続なコスト関数向けのワッサースタインコアセットを構築することで、連続確率測度の一般化されたコアセットである「測度コアセット」を導入する。この手法により、SVM、k-means、k-median、線形回帰などの機械学習タスクにおいて、効率的かつ理論的に正確な近似が可能となり、先行研究のコアセット構築法を上回るか同等の性能を発揮する。

ABSTRACT

Sparsification is becoming more and more relevant with the proliferation of huge data sets. Coresets are a principled way to construct representative weighted subsets of a data set that have matching performance with the full data set for specific problems. However, coreset language neglects the nature of the underlying data distribution, which is often continuous. In this paper, we address this oversight by introducing a notion of measure coresets that generalizes coreset language to arbitrary probability measures. Our definition reveals a surprising connection to optimal transport theory which we leverage to design a coreset for problems with Lipschitz costs. We validate our construction on support vector machine (SVM) training, k-means clustering, k-median clustering, and linear regression and show that we are competitive with previous coreset constructions.

研究の動機と目的

• 従来のコアセットが離散データを想定しており、元のデータ分布の連続的性質を無視するという限界を是正すること。
• 任意の確率測度に一般化可能な、新たなコアセットの概念である「測度コアセット」を形式化すること。
• 測度コアセットと最適輸送理論の間の理論的関係を確立し、理論的に正確なコアセットの構築を可能とすること。
• 性能保証を維持しながらデータサイズを削減できる、リプシッツコスト関数向けの実用的コアセット構築法を開発すること。

提案手法

• 与えられたコスト関数の下で、元のデータ測度を近似する重み付き確率測度として測度コアセットを定義する。
• 最適輸送理論を活用し、元の測度とコアセット測度の距離をワッサースタイン距離を用いて定量化する。
• 元の測度への輸送コストを最小化するワッサースタイン重心型問題を解くことでコアセットを構築する。
• ワッサースタイン距離を制御することで、任意のリプシッツコスト関数に対して(1+ε)-近似保証を満たすようにコアセットを保証する。
• 最適輸送計画に基づくサンプリングおよび再重み付け戦略を用いて、サイズが小さく、強力な近似保証を持つコアセットを生成する。
• SVM、k-means、k-median、線形回帰などの標準的な機械学習問題に対して、コスト固有の最適化を介してコアセット構築法を適用する。

実験結果

リサーチクエスチョン

• RQ1 コアセットは、離散データに限らず、原理的かつ一貫した方法で連続的確率測度へ一般化可能か？
• RQ2 測度コアセットと最適輸送理論との間には、どのような理論的関係があるか？
• RQ3 ワッサースタインに基づくコアセット構築法は、リプシッツコスト関数に対して理論的近似保証を達成可能か？
• RQ4 提案手法のコアセットは、多様な機械学習タスクにおいて、既存のコアセット手法と比べて実用的に優れているか？

主な発見

• 提案された測度コアセットフレームワークは、従来の離散コアセットを連続的確率測度へ一般化し、連続的データ分布の原理的スプライシフィケーションを可能にする。
• 測度コアセットと最適輸送理論の間の理論的リンクを確立し、ワッサースタイン距離がコアセット品質の自然な度合いであることを示した。
• 任意のリプシッツコスト関数に対して(1+ε)-近似保証を達成するコアセット構築法を実現し、強力な理論的性能境界を保証した。
• 実験的評価により、SVM学習、k-means、k-median、線形回帰タスクにおいて、既存のコアセット構築法と同等または優れた性能を発揮した。
• 大幅にデータサイズを削減しても高い精度を維持できることから、大規模学習シナリオにおける実用的有用性が示された。