[論文レビュー] Efficient Parametric Projection Pursuit Density Estimation

Max Welling, Richard S. Zemel+1 more|arXiv (Cornell University)|Oct 19, 2012

Blind Source Separation Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、次元の呪いを軽減するための低次元投影を利用する、投影 pursuit密度推定のための扱いやすいパrametricモデル、Under-complete Product of Experts (UPoE) を導入する。次元の呪いを緩和するための低次元投影を用いる。最大尤度学習は、未定域ICAに相当するルールを介して効率的に行える。高次元データにおけるスケーラビリティとパフォーマンスを向上させる逐次学習アルゴリズムを提供する。

ABSTRACT

Product models of low dimensional experts are a powerful way to avoid the curse of dimensionality. We present the ``under-complete product of experts' (UPoE), where each expert models a one dimensional projection of the data. The UPoE is fully tractable and may be interpreted as a parametric probabilistic model for projection pursuit. Its ML learning rules are identical to the approximate learning rules proposed before for under-complete ICA. We also derive an efficient sequential learning algorithm and discuss its relationship to projection pursuit density estimation and feature induction algorithms for additive random field models.

研究の動機と目的

• 低次元投影によるデータモデリングを通じて、密度推定における次元の呪いに対処すること。
• 解釈可能性を維持しながら高次元データにスケーリング可能な完全に扱いやすい確率的モデルを構築すること。
• 未定域投影を用いたexpertの積の枠組みを用いて、複雑な密度構造を効率的に学習すること。
• 投影 pursuit 密度推定と加法的ランダムフィールドモデルにおける特徴誘導の間のギャップを埋めること。
• 大規模データセットに対してオンラインおよびインクリメンタル学習をサポートする、スケーラブルな逐次学習アルゴリズムを提供すること。

提案手法

• 各expertがデータの一次元投影をモデリングする未定域expertの積（UPoE）を提案する。
• 各expertにパラメトリックな形を用いる。一般的にはガウス混合モデルやその他の指数型分布族の分布を用いる。
• 条件付き独立性を保証することで、条件付き独立性を用いて全結合密度を表現する積モデルを組み合わせ、取り扱いやすさを確保する。
• UPoEの最大尤度学習ルールを導出し、未定域ICAから得られる近似学習ルールと正確に一致させること。
• 逐次的にパラメータを更新する学習アルゴリズムを設計し、ストリーミングまたは大規模データに対して効率を向上させること。
• 特徴誘導と密度推定の目的における同等性を示すことにより、モデルを投影 pursuit および加法的ランダムフィールドモデルと結びつける。

実験結果

リサーチクエスチョン

• RQ1 高次元空間における効率的な密度推定を実現できる、パラメトリックかつ取り扱いやすいモデルを設計できるか？
• RQ2 expertの積の枠組みを一次元投影を用いて適応させつつ、モデリング能力を維持できるか？
• RQ3 UPoEの学習ルールは未定域ICAのものとどの程度一致するか？最適化にどのような含意があるか？
• RQ4 正確性を維持しながらスケーラビリティを向上させる逐次学習アルゴリズムを導出できるか？
• RQ5 UPoEモデルは、既存の投影 pursuit や加法的ランダムフィールドアプローチと比較して、表現力と効率性の点でどのように異なるか？

主な発見

• UPoEモデルは、非パラメトリックな投影 pursuit に対する完全に取り扱いやすいパラメトリックな代替手段を提供し、正確な尤度計算を可能にする。
• UPoEの最大尤度学習ルールは、未定域ICAで用いられるものと数学的に同等であり、既存の最適化手法の再利用が可能になる。
• 提案された逐次学習アルゴリズムは、全データの再処理を必要とせず、効率的なパrameter更新を実現し、オンライン学習に適している。
• 実験的結果から、UPoEは標準的なexpertの積モデルよりも少ないパラメータで、複雑な高次元データ分布をモデル化できることを示している。
• モデルは、特にデータに低次元構造を示す場合に、密度推定タスクで優れたパフォーマンスを発揮している。
• このフレームワークは、投影 pursuit、ICA、および加法的ランダムフィールドの概念を統合し、特徴誘導と密度推定のための共通の確率的基盤を提供している。