[論文レビュー] Scalable and Robust Construction of Topical Hierarchies

Chi Wang, Xueqing Liu+2 more|arXiv (Cornell University)|Mar 13, 2014

Data Management and Algorithms参考文献 29被引用数 5

ひとこと要約

本稿では、大規模なテキストコレクションから高品質なトピック階層を構築するスケーラブルでロバストなテンソルベースの手法STRODを提案する。上位から下位への再帰的フレームワークを用い、圧縮された共起統計にテンソル直交分解を適用することで、最先端の手法と比較して数個のオーダーの高速化を達成しながらも、高い解釈可能性と安定性を維持し、トピック構造のインタラクティブな修正を可能にする。

ABSTRACT

Automated generation of high-quality topical hierarchies for a text collection is a dream problem in knowledge engineering with many valuable applications. In this paper a scalable and robust algorithm is proposed for constructing a hierarchy of topics from a text collection. We divide and conquer the problem using a top-down recursive framework, based on a tensor orthogonal decomposition technique. We solve a critical challenge to perform scalable inference for our newly designed hierarchical topic model. Experiments with various real-world datasets illustrate its ability to generate robust, high-quality hierarchies efficiently. Our method reduces the time of construction by several orders of magnitude, and its robust feature renders it possible for users to interactively revise the hierarchy.

研究の動機と目的

• 高価なギブスサンプリングに依存する既存の階層的トピックモデリング手法のスケーラビリティとロバスト性の制限を解消すること。
• インタラクティブなユーザーによる階層構造の修正を可能にする、自動的かつ高品質なトピック階層構築フレームワークの開発。
• スケーラビリティを損なわずに頻出マルチグラムをトピックフレーズとして統合することで、解釈可能性を向上させること。
• データ圧縮とテンソル分解による理論的保証を活用して、大規模テキストコレクションにおける効率的な推論を実現すること。
• 共同推論のボトルネックを避ける理論的根拠に基づいた再帰的アプローチを用いて階層的トピックモデリングを実現すること。

提案手法

• 各レベルで階層的トピック推論問題をより小さな部分問題に分割する再帰的・トップダウンフレームワークを提案する。
• 共起統計（例：単語の共起回数）の圧縮版にテンソル直交分解（TOD）を適用し、各レベルでのトピック推論を実行する。これにより、高価なギブスサンプリングを置き換える。
• テンソル分解の理論的性質を活用して、反復実行間で低分散であるロバストで一意的かつ安定した推論を保証する。
• 推論されたトピック分布に基づき、頻出マルチグラム（例：'database system'、'query processing'）を割り当てるための軽量な事後確率推定を適用する。
• テンソルの構造的性質を活用して標準TODアルゴリズムを最適化することで、大規模データ向けにスケーラブルなバージョンであるSTROD（スケーラブル・テンソルベースの再帰的直交分解）を設計する。
• 推論後処理としてマルチグラム抽出を統合し、トピックの解釈可能性を向上させる。各トピックにおける事後確率に基づき、フレーズをランク付けする。

実験結果

リサーチクエスチョン

• RQ1 階層的トピックモデリングにおける再帰的・トップダウン的手法は、共同推論手法と比較して、より優れたスケーラビリティとロバスト性を達成できるか？
• RQ2 圧縮された統計にテンソル直交分解を適用することで、大規模なテキストコレクションに対して安定的で一意的かつ理論的根拠のあるトピック推論が可能か？
• RQ3 マルチグラムを統合することで、スケーラビリティを損なわず、トピックの解釈可能性がどの程度向上するか？
• RQ4 実行時間、分散、および人間によるトピック品質評価の観点から、本手法は最先端の手法と比較してどのように差をつけるか？
• RQ5 本手法は、そのロバスト性と低分散性のおかげで、トピック階層のインタラクティブな修正を可能にするか？

主な発見

• STRODは、最先端の手法と比較して、トピック階層構築時間を100〜1000倍短縮しており、データサイズが大きいほど性能差が拡大する。
• CSアブストラクトデータセットでは、STRODの実行時間が0.6114秒であるのに対し、CATHYは17.34秒、hPAMは5.578秒であり、優れたスケーラビリティを示している。
• 反復実行間のトピック割り当ての分散は極めて低く（例：CSアブストラクトでは0.0001384）、高いロバスト性と安定性を示している。
• 人間評価では、STRODはトピックインスーションタスクで最高のF1スコア（0.82）を達成し、親子トピック関係の質が優れていることを示している。
• STRODは、splitLDAおよびhPAMを上回り、より意味的で一貫性のある階層的構造を生成していることが、トピックインスレーションタスクで示された。
• 本手法は、'database system' や 'query processing' のようなマルチグラムが関連トピックの上位フレーズとして出現する、解釈可能な階層を効果的に生成している。