[論文レビュー] Tree-Structured Stick Breaking Processes for Hierarchical Data

Ryan P. Adams, Zoubin Ghahramani+1 more|arXiv (Cornell University)|Jun 5, 2010

Bayesian Methods and Mixture Models参考文献 25被引用数 12

ひとこと要約

本稿では、無限の深さと広がりをもつ階層的データをモデル化できる木構造のスティック・ブレイキング過程（TSSB）を提案する。この手法は無限交換可能性を実現し、スライスサンプリングを用いた柔軟な推論を可能にする。内部ノードにもデータを割り当てられ、テキストデータにおいても、トピック数を減らしても標準LDAを上回る予測の複雑さ（perplexity）を達成する。

ABSTRACT

Many data are naturally modeled by an unobserved hierarchical structure. In this paper we propose a flexible nonparametric prior over unknown data hierarchies. The approach uses nested stick-breaking processes to allow for trees of unbounded width and depth, where data can live at any node and are infinitely exchangeable. One can view our model as providing infinite mixtures where the components have a dependency structure corresponding to an evolutionary diffusion down a tree. By using a stick-breaking approach, we can apply Markov chain Monte Carlo methods based on slice sampling to perform Bayesian inference and simulate from the posterior distribution on trees. We apply our method to hierarchical clustering of images and topic modeling of text data.

研究の動機と目的

• 未知のデータ階層に対する非パラメトリック事前分布を構築し、深さと広がりが無限であることを保証する。
• データを木の葉だけでなく内部ノードにも割り当てられるようにし、より表現力のあるモデリングを可能にする。
• 擬似時間プロセスに依存せずに、データの無限交換可能性を保証する。
• スライスサンプリングとMCMCを用いた後退分布のシミュレーションに適した効率的推論手法を提供する。
• 画像クラスタリングおよびテキストデータにおけるトピックモデリングにおいて、有効性を示す。

提案手法

• 単位区間の木構造的分割を構築するために、ベータ分布に従う変数を用いた入れ違いのスティック・ブレイキング過程を用いる。
• ノードの重みと各レベルでの分岐を制御する2つのベータ分布に従う変数列（ν と ψ）を用い、深さに依存する集中パラメータ α(|ε|) を導入する。
• 各ノードの測度を、ルートからノードまでのパスに沿ったスティック・ブレイキング重みの積として定義する階層的割り当てプロセスにより、データをノードに割り当てる。
• スライスサンプリングを適用し、潜在的な木構造とノードパラメータを含む無限木空間における効率的なMCMC推論を可能にする。
• 薄く取り除く（thinning）とバーニング（burn-in）を含む、畳み込みギブスサンプリングスキームを用いて、木構造とトピック割り当ての後退分布からサンプリングする。
• 文書を木をたどるパスとしてモデル化し、パスに沿ったGEMプロセスによって語彙分布を定義することで、進化的な依存関係を捉えたトピックモデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 深さと広がりが無限である一方で無限交換性を保つ非パラメトリック事前分布を構築できるか？
• RQ2 データを木構造の内部ノードに意味的に割り当てることは可能か？（葉に限定されない。）
• RQ3 スティック・ブレイキング過程を拡張して、木の下方向への成分の進化的な拡散をモデル化し、階層的依存関係を捉えられるか？
• RQ4 木構造的事前分布を導入することで、標準LDAと比較してトピックモデリングの予測性能が向上するか？
• RQ5 トピック数の増加に伴い、モデルのスケーリング特性はどのように変化するか？また、構造と柔軟性の最適なトレードオフは何か？

主な発見

• 50トピック未満の設定で、標準LDAよりもTSSBがより良い予測の複雑さ（perplexity）を達成し、10のテストフォールドすべてで最良のTSSBモデルが最良のLDAモデルを上回った。
• トピック数が少ない場合（例：10〜30トピック）では、構造的制約のおかげで一般化性能が向上した。
• トピック数が多い場合（例：50〜100トピック）では、木モデルの構造的制約が性能向上を阻害する要因となった。
• NIPSコーパスに対して、意味のある階層的構造を効果的に同定した。ノードには一貫性のある著者クラスタ、語彙頻度、時系列的分布が明確に現れた。
• 推定された木構造は、トピック間の進化的関係を明らかにした。代表的な論文（プロトタイプ）が、より特化したサブトピックの先祖として現れた。
• スライスサンプリングとギブスサンプリングを用いたMCMC推論は信頼性高く収束したが、ディリクレ・多項分布のκパラメータの初期値に敏感であった。