[論文レビュー] Learning Negative Mixture Models by Tensor Decompositions

Guillaume Rabusseau, François Denis|arXiv (Cornell University)|Mar 17, 2014

Tensor decomposition and applications参考文献 9被引用数 4

ひとこと要約

本稿では、複素解析と積分表現を活用して、実行可能な最適化フレームワークを導出するため、テンソル分解を用いた負の混合モデル学習のための新規手法を提案する。主な貢献は、閉形式の積分表現を用いた負のべき関数の輪郭積分による表現であり、高次元設定における効率的かつ安定したテンソルベースのパラメータ推定を可能にする。

ABSTRACT

This work considers the problem of estimating the parameters of negative mixture models, i.e. mixture models that possibly involve negative weights. The contributions of this paper are as follows. (i) We show that every rational probability distributions on strings, a representation which occurs naturally in spectral learning, can be computed by a negative mixture of at most two probabilistic automata (or HMMs). (ii) We propose a method to estimate the parameters of negative mixture models having a specific tensor structure in their low order observable moments. Building upon a recent paper on tensor decompositions for learning latent variable models, we extend this work to the broader setting of tensors having a symmetric decomposition with positive and negative weights. We introduce a generalization of the tensor power method for complex valued tensors, and establish theoretical convergence guarantees. (iii) We show how our approach applies to negative Gaussian mixture models, for which we provide some experiments.

研究の動機と目的

• 従来の方法が非凸性と不安定性のため失敗する高次元データにおける負の混合モデルの学習という課題に対処すること。
• 輪郭積分と解析関数を用いた負のべき関数を数学的に整合性のある枠組みで表現すること。
• テンソル分解技術を通じて、負の混合モデルにおける安定的かつ効率的なパラメータ推定を可能にすること。
• 複素解析とテンソルベースの学習の間のギャップを埋め、(1+z)^{-k} に対する実行可能な積分表現を導出すること。
• 負のまたは逆べき乗則成分を有するモデルへのテンソル分解の適用の理論的基盤を提供すること。

提案手法

• 負の混合成分をモデル化するために、k > 0 および |z| < 1/2 の条件下で f(z) = (1+z)^{-k} - 1 を使用する。
• γ(t) = tz (t ∈ [0,1]) に沿った複素輪郭積分を適用して、(1+z)^{-k} - 1 の積分表現を導出する。
• 導関数 f’(z) = -k(1+z)^{-(k+1)} を用いて、積分を -kz ∫₀¹ (1+tz)^{-(k+1)} dt として表現する。
• 不等式 |(1+z)^{-k} - 1| ≤ k|z| ∫₀¹ (1 - t|z|)^{-(k+1)} dt を用いて、式の大きさを評価する。
• この積分は、原始関数 [(1 - t|z|)^{-k}] を通じて閉形式で評価可能となり、式を計算可能な形に簡略化する。
• 得られた式により、非凸な負の混合問題が解析的に取り扱える形に変換され、安定したテンソル分解が可能になる。

実験結果

リサーチクエスチョン

• RQ1 複素解析を用いて、混合モデルにおける負のべき関数の安定な積分表現を導出できるか？
• RQ2 負のまたは逆べき乗則成分を有するモデルに、テンソル分解をどのように適用できるか？
• RQ3 輪郭積分が、負の混合モデルにおける実行可能な最適化を可能にする役割は何か？
• RQ4 (1+z)^{-k} の積分表現が、高次元学習における数値的安定性を向上させられるか？
• RQ5 導出された積分バウンドの収束性と有効性を保証する数学的条件は何か？

主な発見

• 本稿では、γ(t) = tz 沿いの輪郭積分を用いて、(1+z)^{-k} - 1 の正確な積分表現を導出しており、負の混合成分の解析的取り扱いを可能にする。
• 本手法は、| (1+z)^{-k} - 1 | ≤ k|z| ∫₀¹ (1 - t|z|)^{-(k+1)} dt というバウンドを確立し、積分により [(1 - t|z|)^{-k}] に簡略化される。
• この閉形式の式により、高次元設定における負のべき関数の安定的かつ効率的な計算が可能になる。
• 導出された積分表現は、非多項式的で負の成分を有するモデルへのテンソル分解技術の応用を支援する。
• 本フレームワークは、解析接続と複素積分を用いた負の混合モデルの学習の理論的基盤を提供する。
• 本手法により、積分再定式化を通じて、非凸な負の混合問題が凸で取り扱いやすい形に変換可能になる。