[論文レビュー] Collapsed Variational Bayes Inference of Infinite Relational Model

Katsuhiko Ishiguro, Issei Sato+1 more|arXiv (Cornell University)|Sep 16, 2014

Bayesian Methods and Mixture Models参考文献 42被引用数 3

ひとこと要約

本稿では、無限関係モデル（IRM）のための平均化崩壊変分ベイズ（ACVB）推論を提案する。これはギブスサンプリングや標準的変分ベイズの代替手段として、決定的で高速かつ収束保証付きの手法を提供する。CVB0に基づくハイパーパrameter更新（ディリクレ過程の集中パラメータを含む）を導入し、線形時間の推論を可能にすることで、従来の手法と同等またはそれ以上の性能を発揮しながら、大規模な関係データセットへのスケーラビリティと実用性を著しく向上させる。

ABSTRACT

The Infinite Relational Model (IRM) is a probabilistic model for relational data clustering that partitions objects into clusters based on observed relationships. This paper presents Averaged CVB (ACVB) solutions for IRM, convergence-guaranteed and practically useful fast Collapsed Variational Bayes (CVB) inferences. We first derive ordinary CVB and CVB0 for IRM based on the lower bound maximization. CVB solutions yield deterministic iterative procedures for inferring IRM given the truncated number of clusters. Our proposal includes CVB0 updates of hyperparameters including the concentration parameter of the Dirichlet Process, which has not been studied in the literature. To make the CVB more practically useful, we further study the CVB inference in two aspects. First, we study the convergence issues and develop a convergence-guaranteed algorithm for any CVB-based inferences called ACVB, which enables automatic convergence detection and frees non-expert practitioners from difficult and costly manual monitoring of inference processes. Second, we present a few techniques for speeding up IRM inferences. In particular, we describe the linear time inference of CVB0, allowing the IRM for larger relational data uses. The ACVB solutions of IRM showed comparable or better performance compared to existing inference methods in experiments, and provide deterministic, faster, and easier convergence detection.

研究の動機と目的

• 現在、ギブスサンプリングに依存しているが、遅くかつ監視が難しいため、実用的で高速で収束検出可能な推論手法の欠如に対処すること。
• 潜在パラメータを統合することで標準的変分ベイズを改善し、より高速で決定的な推論を可能にする、IRMのための新しい崩壊変分ベイズ（CVB）フレームワークの開発。
• 収束を保証する新規のアルゴリズム、平均化CVB（ACVB）の導入により、手動での監視が不要な自動収束検出を実現し、非専門家ユーザーにとって極めて重要となる。
• クラスタ縮小と線形時間推論を活用した計算効率の向上により、より大きな関係データセットにIRMを適用可能にする。
• ディリクレ過程の集中パラメータを含む、すべてのハイパーパrameterに対する初めてのCVB0ベースの更新ルールの導出。これは、従来の文献では未解決の分野であった。

提案手法

• LDAで用いられるのと同様のテイラー近似を用いて、IRMsにおける崩壊変分ベイズ（CVB）推論の下界を定式化し、計算不能な下界を計算可能にする。
• 下界の最大化に基づき、通常のCVBとCVB0の2つのCVB解を導出。CVB0はα-発散を最小化し、より優れた近似品質を実現する。
• 反復処理における変分パラメータの平均化を特徴とする、新規のアニーリングベースの技法であるACVBを導入。収束を保証し、定常点は収束解と等価である。
• 推論中に有効なクラスタ数を削減するクラスタ縮小技術を提案。これにより線形時間の複雑度が達成され、スケーラビリティが向上する。
• スパarsityの活用と効率的な更新ルールを用いて、CVB0の線形時間推論を実装。計算コストを顕著に低減する。
• すべてのハイパーパrameter（ディリクレ過程の集中パラメータを含む）に対するCVB0ベースの更新ルールを導出。これにより、自動ハイパーパrameter最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 崩壊変分ベイズ推論を、ギブスサンプリングよりも高速で決定的かつスケーラブルなIRMsに効果的に適応できるか？
• RQ2 CVBベースの推論における収束をどのように保証し、自動検出できるか。これは、確率的サンプリング手法の限界を克服するものである。
• RQ3 CVB0を、これまで研究対象とならなかったディリクレ過程の集中パラメータを含む、すべてのハイパーパラメータの自動更新に拡張できるか？
• RQ4 線形時間推論とクラスタ縮小は、大規模な関係データセットにおけるIRMsのスケーラビリティをどの程度向上させるか？
• RQ5 実世界の関係データに対して、提案手法であるACVBの性能と収束行動は、既存の推論手法と比べてどの程度優れているか？

主な発見

• 提案されたACVB推論は、単純なアニーリング機構により収束を保証し、ギブスサンプリングで必須とされる手動の収束監視が不要になる。
• ACVBに基づく推論は、既存手法と同等またはそれ以上の性能を示し、収束が速く決定的計算が可能である。
• CVB0の線形時間推論により、大規模な関係データの効率的分析が可能となり、実際にはデータサイズに比例して計算コストが部分線形に増加する。
• クラスタ縮小技術により、推論中の有効クラスタ数が削減され、収束が速くなり、特に密度の高いデータセットでは計算オーバーヘッドが低減される。
• ACVB0は自動かつ信頼性の高い収束検出が可能であり、収束閾値を0.001%から0.01%に緩和した場合、収束速度が10倍以上向上する。
• ディリクル過程の集中パラメータに対するCVB0ベースの更新ルールの導出は、完全な自動ハイパーパラメータ最適化を可能にし、モデルの適応性を高める。