[論文レビュー] A Poisson convolution model for characterizing topical content with word frequency and exclusivity

Edoardo M. Airoldi, Jonathan Bischof|arXiv (Cornell University)|Jun 18, 2012

Topic Modeling被引用数 5

ひとこと要約

本稿では、語の頻度と排他的性を構造的なトピック階層を通じて統合することで、トピックの特徴付けを向上させる階層的ポisson畳み込み（HPC）モデルを提案する。並列化されたハミルトニアンモンテカルロサンプリングを用いたスケーラブルな推論が可能であり、頻度ベースの手法に比べてより解釈可能なトピック要約を生成する。実験的評価では、人間による評価において解釈性と安定した排他的性推定の両面で優れた結果が得られた。

ABSTRACT

An ongoing challenge in the analysis of document collections is how to summarize content in terms of a set of inferred themes that can be interpreted substantively in terms of topics. The current practice of parametrizing the themes in terms of most frequent words limits interpretability by ignoring the differential use of words across topics. We argue that words that are both common and exclusive to a theme are more effective at characterizing topical content. We consider a setting where professional editors have annotated documents to a collection of topic categories, organized into a tree, in which leaf-nodes correspond to the most specific topics. Each document is annotated to multiple categories, at different levels of the tree. We introduce a hierarchical Poisson convolution model to analyze annotated documents in this setting. The model leverages the structure among categories defined by professional editors to infer a clear semantic description for each topic in terms of words that are both frequent and exclusive. We carry out a large randomized experiment on Amazon Turk to demonstrate that topic summaries based on the FREX score are more interpretable than currently established frequency based summaries, and that the proposed model produces more efficient estimates of exclusivity than with currently models. We also develop a parallelized Hamiltonian Monte Carlo sampler that allows the inference to scale to millions of documents.

研究の動機と目的

• テキスト解析における頻度ベースのトピック要約の解釈性の限界を解消すること。
• 頻度と同時に特定トピックに排他的に関連する語を同定するモデルを開発し、意味的特徴付けを向上させること。
• 専門の編集者によるアノテート済みトピック階層を活用し、意味的構造を伴ったトピック推論を支援すること。
• 並列化されたハミルトニアンモンテカルロ（HMC）サンプラーを用いて、大規模コーパスにおけるスケーラブルなベイズ推論を可能にすること。
• 人間によるアノテーション実験を用いて、トピック要約の解釈性と安定性を評価すること。

提案手法

• HPCモデルは、既知のトピック階層を介してガウス拡散によって語の使用頻度を平滑化する階層的ポアソン畳み込みフレームワークを用いる。
• トピックラベルと語の使用頻度の間で共有されるガウス事前分布を用いた混合-membershipフレームワークで文書-トピック所属関係をモデル化する。
• 木構造のパラメータ、トピック関連度パラメータ、コーパスレベルのハイパーパラメータを分離することで並列化可能なブロックギブスサンプラーを採用する。
• 勾配およびヘッセ行列の情報を用いたハミルトニアンモンテカルロ（HMC）を用いて、レートパラメータ、トピック関連度、ハイパーパラメータの条件付き事後分布を導出する。これにより、高次元空間での効率的サンプリングが可能となる。
• トピック階層に基づく意味的にインフォームドな距離尺度を用いて排他的性推定を正則化し、希な語の使用によるノイズを低減する。
• 並列化されたHMC実装により、数百万件のドキュメントと数数百のトピックを含む高次元事後分布を効率的に走査可能となる。

実験結果

リサーチクエスチョン

• RQ1 頻度と排他的性を統合するモデルは、頻度のみに依存する手法に比べて、より解釈可能なトピック要約を生成できるか？
• RQ2 語の使用頻度を階層的に平滑化することで、排他的性推定の安定性と解釈性はどのように向上するか？
• RQ3 提案されたHPCモデルは、複雑なトピック階層を持つ大規模で現実世界のドキュメントコレクションにどの程度スケーラブルに適用可能か？
• RQ4 HPCモデルが得る排他的性推定は、既存のトピックモデルと比較して、安定性と人間の解釈性の観点で優れているか？
• RQ5 HPCモデルは、半自動的トピックオントロジー構築のためのゴールドスタンダードとして機能できるか？

主な発見

• 人間の評価者により、FREXスコア（頻度と排他的性）に基づくトピック要約は、語の頻度のみに基づく要約よりも顕著に解釈性が高かった。
• HPCモデルは、特に低頻度領域において、ベースラインモデルに比べてより安定した排他的性推定を達成した。
• 並列化されたHMCサンプラーにより、数百万件のドキュメントと数百のトピックを含むリーマンズコーパスに対しても効率的な推論が可能となった。
• 階層的近接性によって正則化された排他的性は、頻度のみに依存するものよりも、トピックの特徴的差異をより強固で意味のある指標として提供することが示された。
• トピックオントロジーの階層的構造により、意味的に遠く離れたカテゴリからのノイズが低減され、推論されたトピックの解釈性が顕著に向上した。
• HPCモデルの出力は、他のトピックモデルの評価や、ドメイン特化したトピックオントロジーの半自動的構築のためのゴールドスタンダードとして利用可能である。