[論文レビュー] Coresets for Gaussian Mixture Models of Any Shape

Dan Feldman, Zahi Kfir+1 more|arXiv (Cornell University)|Jun 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 76被引用数 7

ひとこと要約

本稿では、任意の形状（つまり、固有値比が有界でない）を持つガウス混合モデル（GMM）のための最初のコアセット構築法を提示する。この手法は、$(\log n)^{O(1)}/\varepsilon^2$ のコアセットサイズを達成し、近似的線形時間で計算可能である。本手法は感度解析と $\ell_\infty$-コアセットを用いて、GMMのコアセット問題を射影的クラスタリングに還元することで、負の対数尤度の $(1+\varepsilon)$-近似保証が保証されるストリーミング、ダイナミック、分散学習を効率的に行える。

ABSTRACT

An $\varepsilon$-coreset for a given set $D$ of $n$ points, is usually a small weighted set, such that querying the coreset \emph{provably} yields a $(1+\varepsilon)$-factor approximation to the original (full) dataset, for a given family of queries. Using existing techniques, coresets can be maintained for streaming, dynamic (insertion/deletions), and distributed data in parallel, e.g. on a network, GPU or cloud. We suggest the first coresets that approximate the negative log-likelihood for $k$-Gaussians Mixture Models (GMM) of arbitrary shapes (ratio between eigenvalues of their covariance matrices). For example, for any input set $D$ whose coordinates are integers in $[-n^{100},n^{100}]$ and any fixed $k,d\geq 1$, the coreset size is $(\log n)^{O(1)}/\varepsilon^2$, and can be computed in time near-linear in $n$, with high probability. The optimal GMM may then be approximated quickly by learning the small coreset. Previous results [NIPS'11, JMLR'18] suggested such small coresets for the case of semi-speherical unit Gaussians, i.e., where their corresponding eigenvalues are constants between $\frac{1}{2π}$ to $2π$. Our main technique is a reduction between coresets for $k$-GMMs and projective clustering problems. We implemented our algorithms, and provide open code, and experimental results. Since our coresets are generic, with no special dependency on GMMs, we hope that they will be useful for many other functions.

研究の動機と目的

• 任意の共分散形状（固有値比が有界でないものも含む）を持つ $k$-ガウス混合モデル（GMM）のコアセット構築法を開発すること。
• 入力サイズを縮小することで、GMMの学習を効率的かつスケーラブルに行い、負の対数尤度の $(1+\varepsilon)$-近似を保持すること。
• 従来の研究が半球形ガウス分布に制限されていたのに対し、非球形GMMに対してもコアセット技術を拡張すること。
• 感度解析とVC次元解析に基づき、GMMを越える広範な学習問題に適用可能な汎用フレームワークを提供すること。

提案手法

• 部分空間に対する既知のコアセット結果を活用し、$k$-GMMの $\varepsilon$-コアセット構築問題を射影的クラスタリング問題に還元する。
• 個々の点の尤度近似への影響を制限するために、感度サンプリングと $\ell_\infty$-コアセット構築を用いる。
• 空間の階層的分割（例：リング、ストリップ、長方形）を再帰的に適用し、任意の部分空間構成に対応する。
• ストリーミングデータに対してはハーフィング計算を用い、高確率で $O(\log n / \varepsilon^2)$ のサイズのコアセットを維持する。
• 射影的クラスタリングのVC次元を導出し、コアセットサイズが $n$ に依存せず、$\varepsilon$、$k$、$d$ のみに依存することを保証する。
• アルゴリズムを実装し、オープンソースコードを公開。実世界のデータセットを用いた性能検証を実施。

実験結果

リサーチクエスチョン

• RQ1 任意の形状のガウス分布（つまり、固有値比が有界でないもの）を持つ $k$-GMMに対して、負の対数尤度の $(1+\varepsilon)$-近似を保持するコアセットを構築可能か？
• RQ2 このようなコアセットをストリーミング、ダイナミック、分散環境で効率的に維持可能か？
• RQ3 このコアセット構築法をGMMを越えて、同様のコスト関数を持つ他の学習問題へ一般化可能か？
• RQ4 このようなコアセットの理論的サイズ上限は何か？ また、$n$、$k$、$d$、$\varepsilon$ に対してどのようにスケーリングされるか？
• RQ5 入力または共分散行列に構造的仮定を課した場合、$d$ や $k$ に対する指数的依存性を軽減可能か？

主な発見

• 任意の形状のガウス分布を持つ $k$-GMMに対して、入力座標が $[-n^{100}, n^{100}]$ に収まると仮定すると、コアセットサイズは $(\log n)^{O(1)}/\varepsilon^2$ である。
• 高確率で $n$ に対して近似的線形時間でコアセットが計算可能であり、スケーラブルな学習が可能である。
• 既存のコアセットメンテナンス技術を活用することで、ストリーミング、ダイナミック、分散データに対応可能である。
• フレームワークにより、GMMのコアセット構築問題が射影的クラスタリングに還元され、部分空間に対する既知のコアセット結果を再利用可能である。
• 実験結果から、理論的な最悪ケース境界と実世界データにおける実効的性能の間に顕著な差が確認された。
• 対数リプシッツ性を持つ損失関数を有する他のモデルへも一般化可能であり、GMMを越える広範な適用可能性を示唆している。