[論文レビュー] Flexible sampling of discrete data correlations without the marginal distributions

Freddie Kalaitzis, Ricardo Silva|arXiv (Cornell University)|Jun 11, 2013

Markov Chains and Monte Carlo Methods参考文献 15被引用数 6

ひとこと要約

本稿では、離散データを伴うガウスコプゥラモデルにおける効率的なベイズ推論のための新しいハミルトニアン・モンテカルロ（HMC）アルゴリズムを提案する。この手法は、周辺分布のモデル化を回避する。制約付きHMCを潜在ガウス変数に適用することで、従来のパrameter expansion（PX）と比較して、特に複雑な依存構造を有する高次元設定において、より速い混合とより良い事後分布探索が達成される。

ABSTRACT

Learning the joint dependence of discrete variables is a fundamental problem in machine learning, with many applications including prediction, clustering and dimensionality reduction. More recently, the framework of copula modeling has gained popularity due to its modular parametrization of joint distributions. Among other properties, copulas provide a recipe for combining flexible models for univariate marginal distributions with parametric families suitable for potentially high dimensional dependence structures. More radically, the extended rank likelihood approach of Hoff (2007) bypasses learning marginal models completely when such information is ancillary to the learning task at hand as in, e.g., standard dimensionality reduction problems or copula parameter estimation. The main idea is to represent data by their observable rank statistics, ignoring any other information from the marginals. Inference is typically done in a Bayesian framework with Gaussian copulas, and it is complicated by the fact this implies sampling within a space where the number of constraints increases quadratically with the number of data points. The result is slow mixing when using off-the-shelf Gibbs sampling. We present an efficient algorithm based on recent advances on constrained Hamiltonian Markov chain Monte Carlo that is simple to implement and does not require paying for a quadratic cost in sample size.

研究の動機と目的

• データサイズに比例して計算コストが二次的に増加する標準的MCMC手法が、高次元の離散コプゥラモデルにおいて計算的に非効率であるという問題に対処すること。
• 明示的な周辺分布のモデル化を必要としない、柔軟で原理的整合性のある離散データの相関関係に対するベイズ推論を可能にすること。
• 制約付き潜在変数空間における事後分布の探索と混合を改善するスケーラブルなMCMCアルゴリズムの開発。
• しばしば事後分布の全域を探索できないという問題を抱えるPX手法に対する、実用的で信頼性のある代替手法を提供すること。
• 因子モデル、次元削減、クラスタリングなどの応用分野における、離散データに対する正確な不確実性評価を支援すること。

提案手法

• 離散データの背後にある潜在ガウス変数に対してハミルトニアン・モンテカルロ（HMC）を適用し、観測された順序構造（ランク順序）を保持する制約を課す。
• 離散データが引き起こす順序制約を尊重する制約付きHMCフレームワークを用い、周辺分布の明示的モデル化を回避する。
• 潜在変数Zとコプゥラ相関行列Cを同時に統合的にサンプリングするスケームを採用し、混合性能を向上させる。
• 非線形制約を効率的に処理するために、Houghエンvelopeアルゴリズムと制約行列Fを活用する。
• パrameter expansion（PX）を避ける一方で、潜在空間の制約を効果的に探索するため、GibbsステップとHMCステップを交互に実行する。
• 標準的Gibbsサンプラーがこの文脈でサンプルサイズに比例して二次的コストを発生させるのを回避するように、効率的なスケーリングを設計する。

実験結果

リサーチクエスチョン

• RQ1 離散データを伴うガウスコプゥラモデルの事後分布からのサンプリングにおいて、HMCを明示的な周辺分布モデル化を回避して効果的に適応できるか。
• RQ2 提案された制約付きHMC手法の性能は、パrameter expansion（PX）と比較して、混合性能および事後分布探索の観点でどのように異なるか。
• RQ3 新しいアルゴリズムは、高次元の離散的依存構造において、より速い収束とより良い不確実性評価を達成できるか。
• RQ4 制約付きHMCアプローチは、低ランク因子モデルにおける相関行列の再構築精度にどのような影響を与えるか。
• RQ5 PXベースの手法が過信された信用区間によって隠蔽されがちな、事後分布の不十分な探索を、本手法は信頼性を持って検出できるか。

主な発見

• 提案されたHMC手法は、特に高次元設定において、PXと比較して反復回数およびCPU時間の両面で、より速くより良い事後モードに到達する。
• PXからの事後サンプルは、モードのまわりに狭く集中しており、真の事後分布の全域を十分に探索できていないことを示している。
• HMCはより広い事後分布カバレッジとより細い尾部を示しており、PXと比較してより信頼性の高い不確実性評価を示している。
• 10,000回の反復後でも、PXは事後空間の全域を探索できていない一方で、HMCは分布全体にわたり効果的にサンプリングを継続している。
• Radford Nealが指摘した問題と一致する：ある手法が収束しているように見えるが、実際には真の事後分布を十分に探索できず、過信された推論を生じさせる。
• 本研究は、過去のPXを用いた研究を再評価するよう実務家に呼びかける。信用区間が混合性能の悪さによって系統的に過信されがちな可能性があるため。