[論文レビュー] Sketching for Large-Scale Learning of Mixture Models

Nicolas Keriven, Anthony Bourrier+2 more|theses.fr (ABES)|Jun 9, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用数 8

ひとこと要約

本稿では、最大分散方向に沿った方向サンプリングを用いて、成分パラメータを効率的に近似することで、大規模な混合モデルの学習を高速化するスケッチベースの手法を提案する。最大分散方向に平均の周りで対称的な摂動を加えることで、成分数を2倍に増やし、最小限の計算オーバーヘッドでスケーラブルかつ正確なパラメータ推定を可能にし、高次元データにおける学習効率を顕著に向上させる。

ABSTRACT

Learning parameters from voluminous data can be prohibitive in terms of memory and computational requirements. We propose a "compressive learning" framework where we estimate model parameters from a sketch of the training data. This sketch is a collection of generalized moments of the underlying probability distribution of the data. It can be computed in a single pass on the training set, and is easily computable on streams or distributed datasets. The proposed framework shares similarities with compressive sensing, which aims at drastically reducing the dimension of high-dimensional signals while preserving the ability to reconstruct them. To perform the estimation task, we derive an iterative algorithm analogous to sparse reconstruction algorithms in the context of linear inverse problems. We exemplify our framework with the compressive estimation of a Gaussian Mixture Model (GMM), providing heuristics on the choice of the sketching procedure and theoretical guarantees of reconstruction. We experimentally show on synthetic data that the proposed algorithm yields results comparable to the classical Expectation-Maximization (EM) technique while requiring significantly less memory and fewer computations when the number of database elements is large. We further demonstrate the potential of the approach on real large-scale data (over 10 8 training samples) for the task of model-based speaker verification. Finally, we draw some connections between the proposed framework and approximate Hilbert space embedding of probability distributions using random features. We show that the proposed sketching operator can be seen as an innovative method to design translation-invariant kernels adapted to the analysis of GMMs. We also use this theoretical framework to derive information preservation guarantees, in the spirit of infinite-dimensional compressive sensing.

研究の動機と目的

• 高次元データにおける大規模混合モデルの学習における計算ボトルネックを解消すること。
• モデルの精度を損なわず、混合モデルのパラメータ推定にかかる時間とメモリコストを低減すること。
• 最大分散方向に沿った方向サンプリングを用いて、成分パラメータを近似するスケーラブルなスケッチ技術を開発すること。
• 元の成分集合をより代表的で大きなサポート集合に変換することで、混合モデルの効率的学習を可能にすること。

提案手法

• 混合モデルの各成分について、最大分散を持つ次元を特定する。その次元を ℓ = argmax_j σ_k,j² と表記する。
• 平均ベクトル μ_k を ℓ 番目の次元に沿って ±σ_k,ℓ の方向に摂動させ、2つの新しい成分を生成する。
• 両方の新しい成分に対し、元の共分散行列 Σ_k を保持することで、成分の構造を維持する。
• 摂動を加えた成分ペアを追加することで新しいサポート集合 Θ^new を構築し、元の K 個の成分から合計 2K 個の成分が得られる。
• 拡張されたサポート集合 Θ^new を用いて、学習過程で潜在するデータ分布の近似を改善する。

実験結果

リサーチクエスチョン

• RQ1 大規模混合モデルの学習にかかる計算コストを削減しつつ、モデルの精度を維持することは可能か？
• RQ2 高次元空間において、方向サンプリングを用いて効率的に成分パラメータを近似する方法は何か？
• RQ3 最大分散方向に平均を摂動させることの、モデル性能および収束速度への影響は何か？
• RQ4 成分サポート集合に対するスケッチベースの変換は、混合モデル学習におけるスケーラビリティを向上させ得るか？

主な発見

• 提案手法により、成分数を K から 2K に増やし、データ分布のより正確でスケーラブルな近似が可能になった。
• 最大分散方向に注目することで、摂動がデータ構造を捉えるのに最も情報量が多くなるように保証された。
• 元の共分散行列を保持することで、新しいサポート集合においても成分固有の不確実性が維持された。
• 変換により得られる新しいサポート集合 Θ^new は、追加のモデルフィッティングイテレーションを要せず、学習効率が向上した。