[論文レビュー] Learning Mixtures of Discrete Product Distributions using Spectral Decompositions

Prateek Jain, Sewoong Oh|arXiv (Cornell University)|Nov 12, 2013

Machine Learning and Algorithms参考文献 32被引用数 19

ひとこと要約

本稿では、スペクトル分解技術を用いて、一般の離散アルファベット上での離散積分布の混合分布を学習する多項式時間アルゴリズムを提案する。不完全な標本モーメントから低ランク行列およびテンソルを推定することで、成分数、次元数、アルファベットサイズに関して多項式的な標本量および時間計算量を達成し、有限標本保証と一貫性のあるパラメータ推定を実現する。

ABSTRACT

We study the problem of learning a distribution from samples, when the underlying distribution is a mixture of product distributions over discrete domains. This problem is motivated by several practical applications such as crowd-sourcing, recommendation systems, and learning Boolean functions. The existing solutions either heavily rely on the fact that the number of components in the mixtures is finite or have sample/time complexity that is exponential in the number of components. In this paper, we introduce a polynomial time/sample complexity method for learning a mixture of $r$ discrete product distributions over $\{1, 2, \dots, \ell\}^n$, for general $\ell$ and $r$. We show that our approach is statistically consistent and further provide finite sample guarantees. We use techniques from the recent work on tensor decompositions for higher-order moment matching. A crucial step in these moment matching methods is to construct a certain matrix and a certain tensor with low-rank spectral decompositions. These tensors are typically estimated directly from the samples. The main challenge in learning mixtures of discrete product distributions is that these low-rank tensors cannot be obtained directly from the sample moments. Instead, we reduce the tensor estimation problem to: $a$) estimating a low-rank matrix using only off-diagonal block elements; and $b$) estimating a tensor using a small number of linear measurements. Leveraging on recent developments in matrix completion, we give an alternating minimization based method to estimate the low-rank matrix, and formulate the tensor completion problem as a least-squares problem.

研究の動機と目的

• 一般の離散アルファベット上での離散積分布の混合を学習する課題に取り組み、既存の手法が指数的計算量または強い仮定に依存する問題を解決する。
• 任意の ℓ および r に対して、{1,…,ℓ}ⁿ 上の r 個の積分布の混合を学習するための、多項式的標本量および時間計算量の手法を開発する。
• KL発散度フレームワークに基づき、パラメータ推定およびクラスタリングの両方に対して有限標本保証を提供し、一貫性と正確性を確保する。
• 不完全な標本モーメントから低ランクテンソルを構築する困難を、交互最小化と線形測定値に基づく最小二乗推定を用いることで克服する。
• クラウドソーシング、レコメンデーションシステム、ブール関数学習などの実用的応用を可能にするために、スケーラブルで保証付きの正確な学習アルゴリズムを提供する。

提案手法

• 完全に観測できないモーメントテンソルであっても、標本モーメントから低ランク構造を回復するためのテンソル分解技術を用いる。
• 非対角成分からの低ランク行列推定を、収束性とロバスト性を向上させるための交互最小化アルゴリズムで定式化する。
• モーメントテンソルの少数の線形測定値のみを用いて、最小二乗最適化としてテンソル推定問題を定式化する。
• モーメントテンソルのスペクトル分解を活用し、構造的行列回復により、元の混合成分および成分重みを回復する。
• 次元削減ステップとして、推定された成分分布を用いて、高確率で距離ベースクラスタリングを可能にする。
• 集中不等式および行列摂動バウンドを用いて、推定パラメータおよびクラスタリング性能の有限標本誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 一般の離散アルファベット上での離散積分布の混合を、多項式的標本量および時間計算量で学習可能か？
• RQ2 不完全または部分的な標本モーメントから低ランクテンソルおよび行列を推定する方法は何か？ その推定が一貫性を持つように保証できるか？
• RQ3 真の混合分布と推定された混合分布のKL発散度としてのパラメータ推定誤差の有限標本バウンドは何か？
• RQ4 提案手法は、標本データのみを用いて、それらの背後にある成分に正確にクラスタリングできるか？
• RQ5 推定パラメータが真の値に高確率で近くなるための、標本サイズおよびモデルパラメータの条件は何か？

主な発見

• 提案アルゴリズムは、n, r, ℓ, 1/ε, log(1/δ) に関して多項式的標本量および時間計算量を達成し、実用的用途に適している。
• 有限標本保証が確立された：パラメータ推定誤差が ε_M で制御されるとき、真の混合分布と推定された混合分布のKL発散度は O(η) で有界である。
• クラスタリングに関しては、標本サイズが O(μ⁶r⁷n³σ₁(M₂)⁷w_max log(n/δ)/(w_min²σ_r(M₂)⁹ε̃²)) を超える限り、同じ成分からの標本同士が射影空間内で異なる成分からの標本よりも近くなることが保証される。
• パラメータ推定誤差は |ŵ_i - w_i| = O(ε_M) および |π̂_i^{(j),a} - π_i^{(j),a}| = O(ε_M√(σ₁(M₂)w_max r / w_min)) を満たし、真のパラメータへの収束を保証する。
• ε_w = O(η³), ε_π = O(η² / n²ℓ⁶), および ε_M ≤ Cη² min{w_min^{1/2}/(n²ℓ⁶(σ₁(M₂)w_max r)^{1/2}), η} のとき、KL発散度バウンドが O(η) となることが示され、強力な有限標本性能を示す。
• 理論的分析により、標本サイズがモデルの複雑さおよびノイズレベルに対して十分に大きい場合、距離ベースクラスタリングアルゴリズムが高確率で成功することが確認された。