[論文レビュー] Learning Mixtures of Smooth Product Distributions: Identifiability and Algorithm

Nikolaos Kargas, Nicholas D. Sidiropoulos|arXiv (Cornell University)|Apr 2, 2019

Liver Disease Diagnosis and Treatment被引用数 14

ひとこと要約

本論文は、成分密度のパラメトリックな形を仮定せずに、非パラメトリックな積分布の混合を学習するための2段階のテンソル分解ベースの手法を提案する。カノニカルポリアドリック分解（CPD）とフーリエ標本化などの信号処理ツールを活用することで、データから滑らかな条件付き密度を一意に特定・回復可能であり、特に成分密度が滑らかである場合、合成データおよび実データにおいて、パラメトリックなEM法よりもクラスタリング精度とモデル適合度で優れる。

ABSTRACT

We study the problem of learning a mixture model of non-parametric product distributions. The problem of learning a mixture model is that of finding the component distributions along with the mixing weights using observed samples generated from the mixture. The problem is well-studied in the parametric setting, i.e., when the component distributions are members of a parametric family -- such as Gaussian distributions. In this work, we focus on multivariate mixtures of non-parametric product distributions and propose a two-stage approach which recovers the component distributions of the mixture under a smoothness condition. Our approach builds upon the identifiability properties of the canonical polyadic (low-rank) decomposition of tensors, in tandem with Fourier and Shannon-Nyquist sampling staples from signal processing. We demonstrate the effectiveness of the approach on synthetic and real datasets.

研究の動機と目的

• 成分分布がガウス分布のようなパラメトリック族を仮定するのではなく、非パラメトリックな積分布である混合モデルを学習する課題に対処すること。
• 滑らかで帯域制限された成分密度が観測された標本から一意に回復可能であるという同定可能性の条件を確立すること。
• テンソル分解と補間を組み合わせた実用的な2段階アルゴリズムを構築し、条件付き密度の正確な回復を実現すること。
• 特に成分密度が滑らかであるか、ガウス分布仮定と一致しない場合に、パラメトリックなEMに基づく手法と比較して、クラスタリング精度とモデル適合度に優れた性能を示すこと。

提案手法

• 下位次元の周辺密度のヒストグラム推定から得られるテンソルのカノニカルポリアドリック分解（CPD）を用い、やや弱いランク条件のもとでCPDの同定可能性の性質を活用する。
• 結合分布を積分布の混合としてモデル化し、成分密度と混合重みを同時に推定するためのカップルドテンソル因子分解問題を構築する。
• 滑らか（帯域制限）な密度が、離散化標本からの補間によって再構成可能であることを保証するため、フーリエ標本化とシャノン＝ネイキスト標本化の原則を適用する。
• 交互に最適化するアルゴリズムを提案し、成分密度推定と混合重みを繰り返し改善することでカップルドテンソル因子分解問題を解く。
• 混合分布の周辺分布がデータから信頼性高く推定可能であることに着目し、テンソル構造を通じて完全な条件付き密度の安定的回復を可能にする。
• 成分分布がガウス分布でないか、滑らかでない場合でも、性能が滑らかに劣化することを示し、成分分布がガウス分布でない場合、EM法よりも優れた結果を得ることを確認する。

実験結果

リサーチクエスチョン

• RQ1 成分密度に滑らかさの仮定をおく場合、観測標本から非パラメトリックな積分布混合モデルを一意に同定できるか？
• RQ2 テンソル分解技術をどのように変更することで、潜在的な成分インジケータを伴う混合モデルにおいて滑らかで非パラメトリックな成分密度を回復できるか？
• RQ3 真の成分密度がガウス分布でない場合、本手法がパラメトリックなEMベースの手法と比較して、クラスタリング精度とモデル適合度でどの程度優れているか？
• RQ4 フーリエ標本化や帯域制限再構成などの信号処理ツールが、この設定における滑らかな密度の同定可能性と回復をどのように可能にするか？
• RQ5 条件付き独立性と滑らかさの仮定が僅かにしか満たされない実世界のデータにおいて、本手法はどの程度の性能を示すか？

主な発見

• EM GMMがより低いKLダイバージェンスを持つモデルを学習しても、本手法はEMと同等またはそれ以上のクラスタリング精度を達成しており、潜在的な成分構造のより良い回復を示している。
• 滑らかなガンマ分布およびラプラス分布を成分に持つ合成データにおいて、標本サイズが増加するにつれて、KLダイバージェンスおよびクラスタリング精度の両面で、本手法はEM GMMを著しく上回る。
• 条件付き独立で非ガウスな成分密度（例えばガウス分布やガンマ分布の混合）に対して、本手法はパラメトリックな形を仮定せず、真の密度を効果的に回復する。
• 実世界のUCIデータセットにおいて、本手法は7つのデータセットのうち5つでEM GMMおよびK-meansをクラスタリング精度において上回り、モデル誤差指定に対するロバストネスを示している。
• 成分密度が滑らかでない場合（例：ラプラス分布）でも本手法は良好な性能を示すが、特に帯域制限され滑らかな密度の場合に最も高い性能を発揮し、理論的な滑らかさ仮定の妥当性を裏付けている。
• カップルドテンソル因子分解フレームワークにより、補間を通じて成分密度の安定的かつ正確な回復が可能であり、複数の合成および実データ実験で収束が観察された。