[論文レビュー] Recovering Structured Probability Matrices

Qingqing Huang, Sham M. Kakade+2 more|arXiv (Cornell University)|Feb 21, 2016

Machine Learning and Algorithms参考文献 48被引用数 4

ひとこと要約

本稿では、特徴的な推定手法を用いて、スパースな観測から低ランク確率行列を効率的に回復するためのアルゴリズムを提案する。この手法は、切り捨てられた特異値分解（SVD）と重み付き正規化を用いる。情報理論的に、行列のランクが定数のとき、正確な回復にはΘ(M)個のサンプルが最適であることが示され、ランクや一様性といった基本的性質のテストには、サブラインアーなサンプル複雑性が不可能であることが証明されている。

ABSTRACT

We consider the problem of accurately recovering a matrix B of size M by M , which represents a probability distribution over M2 outcomes, given access to an observed matrix of "counts" generated by taking independent samples from the distribution B. How can structural properties of the underlying matrix B be leveraged to yield computationally efficient and information theoretically optimal reconstruction algorithms? When can accurate reconstruction be accomplished in the sparse data regime? This basic problem lies at the core of a number of questions that are currently being considered by different communities, including building recommendation systems and collaborative filtering in the sparse data regime, community detection in sparse random graphs, learning structured models such as topic models or hidden Markov models, and the efforts from the natural language processing community to compute "word embeddings". Our results apply to the setting where B has a low rank structure. For this setting, we propose an efficient algorithm that accurately recovers the underlying M by M matrix using Theta(M) samples. This result easily translates to Theta(M) sample algorithms for learning topic models and learning hidden Markov Models. These linear sample complexities are optimal, up to constant factors, in an extremely strong sense: even testing basic properties of the underlying matrix (such as whether it has rank 1 or 2) requires Omega(M) samples. We provide an even stronger lower bound where distinguishing whether a sequence of observations were drawn from the uniform distribution over M observations versus being generated by an HMM with two hidden states requires Omega(M) observations. This precludes sublinear-sample hypothesis tests for basic properties, such as identity or uniformity, as well as sublinear sample estimators for quantities such as the entropy rate of HMMs.

研究の動機と目的

• スパースでi.i.d.な観測から、M×Mの確率行列を正確に再構築する課題に対処すること。
• 特に低ランクという構造的仮定が、行列回復および性質のテストにおけるサンプル複雑性をどのように低減するかを理解すること。
• スパースな推定における構造的確率行列の計算可能性と情報理論的限界の間のギャップを埋めること。
• ランクや一様性といった基本的性質のテストには、サブラインアーなサンプル複雑性が不可能であることを示すタイトな下界を確立すること。
• 協調フィルタリングや単語埋め込み、HMM学習といった応用分野に実用的かつ理論的に最適なアルゴリズムを提供すること。

提案手法

• 本手法は、スパースな状態での推定を安定化させるために、対角行列Dによる重み付き正規化を用いる。これにより、観測された度数行列が良好に条件付けられた形に変換される。
• 正規化された行列に対して切り捨てられた特異値分解（SVD）を適用し、主成分のランク1成分を回復する。これにより、低ランク構造が活用される。
• 信号をノイズから分離するために、部分空間Vへの射影を用いる。その後、射影された行列のランク1近似が行われる。
• 推定誤差を異なる確率質量スケールにわたって制御するために、経験的周辺分布に基づいてエントリをボクシング（バケット化）する。
• 濃縮不等式とスペクトルノルムの境界を組み合わせることで、回復されたベクトルに対する高確率誤差保証を導出する。
• 最終的な推定値は、正規化の逆変換を施し、ℓ₁誤差を最小にする特異ベクトルの符号を選択することで得られる。

実験結果

リサーチクエスチョン

• RQ1 O(M)個のサンプルで、計算的に効率的かつ情報理論的に最適な方法で、低ランク確率行列を回復できるか？
• RQ2 構造的確率行列の基本的性質（例：ランク1対ランク2）をテストするための根本的なサンプル複雑性の限界は何か？
• RQ3 HMM やトピックモデルのような構造的行列の推定や性質のテストには、サブラインアーなサンプル複雑性が可能か？
• RQ4 元の行列の構造（例：低ランク、良好に条件付けられたもの）が、推定および性質のテストにおけるサンプル複雑性にどのように影響するか？
• RQ5 スパースなデータ環境において、情報理論的限界に達する実用的なアルゴリズムを設計できるか？

主な発見

• 提案されたアルゴリズムは、N = O(M / (w_min^4 * ε^9)) 個のサンプルを用いて、ℓ₁誤差がϵ未満に抑えられるように、元の低ランク確率行列を回復する。これは、定数要因を除いて最適なサンプル複雑性を達成する。
• Θ(M)のサンプル複雑性は、情報理論的に最適である。なぜなら、行列がランク1かランク2かをテストするのにも、Ω(M)個のサンプルが必要だからである。
• より強い下界により、一様分布と良好に条件付けられた2状態HMMを区別するにはΩ(M)個のサンプルが必要であり、サブラインアーなサンプル数の仮説検定は不可能であることが示された。
• アルゴリズムは高確率での回復を達成し、誤差がO(√(M/N) + e^(-e^{k₀-2} - k₀)/2 + (1/(e^{k₀} w_min²))^{1/4})の形で減少する。十分なサンプル数があれば、誤差は任意に小さくできる。
• この手法は実用的であり、スパースなデータ環境における単語埋め込み学習や協調フィルタリングといった実世界の問題に適用可能である。
• 解析により、回復されたベクトルのℓ₁誤差に対するタイトな境界が確立され、適切なサンプリング条件下で真の信号に収束することが示された。