[論文レビュー] Syntactic Topic Models

Jordan Boyd‐Graber, David M. Blei|arXiv (Cornell University)|Feb 25, 2010

Topic Modeling参考文献 23被引用数 155

ひとこと要約

構文的トピックモデル（STM）は、文書レベルのトピック分布と従属構文解析木構造を組み合わせることで、意味的トピックと構文的構造を同時に推論するベイジアン非パラメトリックモデルである。文書レベルのトピック整合性と局所的な構文的文脈を畳み込むことで、純粋なトピックモデルや構文モデルよりも低いパープレキシティを達成し、合成データおよび実世界のデータにおいて優れた予測性能を示している。

ABSTRACT

The syntactic topic model (STM) is a Bayesian nonparametric model of language that discovers latent distributions of words (topics) that are both semantically and syntactically coherent. The STM models dependency parsed corpora where sentences are grouped into documents. It assumes that each word is drawn from a latent topic chosen by combining document-level features and the local syntactic context. Each document has a distribution over latent topics, as in topic models, which provides the semantic consistency. Each element in the dependency parse tree also has a distribution over the topics of its children, as in latent-state syntax models, which provides the syntactic consistency. These distributions are convolved so that the topic of each word is likely under both its document and syntactic context. We derive a fast posterior inference algorithm based on variational methods. We report qualitative and quantitative studies on both synthetic data and hand-parsed documents. We show that the STM is a more predictive model of language than current models based only on syntax or only on topics.

研究の動機と目的

• 言語における主題的（文書レベル）および構文的（文レベル）な規則性を同時に捉える確率的モデルを開発すること。
• 従来のモデルが構文またはトピックのいずれかにのみ焦点を当てており、語の使用の予測が最適でないという限界を是正すること。
• トピック割り当てが、グローバルな文書文脈と依存木内の局所的構文的役割の両方に影響を受ける統一フレームワークを構築すること。
• 変分推論アプローチを通じて構造的および主題的手がかりを統合することにより、言語モデリングのパフォーマンスを向上させること。

提案手法

• STMは、各単語が文書レベルのトピック分布と従属構文解析木からの構文的文脈の畳み込みにより選ばれた潜在的トピックから生成されるとモデル化する。
• 各文書はトピックに関する多項分布を持つことで、文書全体にわたる意味的整合性を保証する。
• 従属木内の各ノードは、その子ノードのトピックに関する分布を持つことで、局所的なフレーズ構造における構文的一致性を強制する。
• 無限個のトピックを許容できるようにするために、階層的ディリクレ過程（HDP）事前分布を用いる。
• 大規模コーパスにおけるスケーラブルな学習を可能にするために、変分推論を用いてトピックの事後分布を近似する。
• 重み付き畳み込みを用いて両者の情報源を統合することで、トピック割り当てが主題的関連性と構文的妥当性の両方に敏感になるようにする。

実験結果

リサーチクエスチョン

• RQ1 1つの確率的モデルが、言語における主題的および構文的規則性を効果的に統合し、予測性能を向上させることができるか？
• RQ2 文書レベルのトピック分布と局所的な構文的構造を組み合わせることで、単一の情報源に依存するモデルよりも言語モデリングがどの程度向上するか？
• RQ3 統一モデルが、特定のトピックモデル（例：HDP）や構文モデル（例：無限木）よりも、品詞ごとの語のパターンをどの程度よく捉えることができるか？
• RQ4 構文的および主題的手がかりの統合により、実世界のテキストコーパスにおいてより整合的で解釈可能なトピックが得られるか？
• RQ5 モデルは未観測の文書に一般化可能であり、ベースラインモデルよりも低いパープレキシティを達成できるか？

主な発見

• 実世界のデータにおいて、STMは階層的ディリクレ過程（HDP）および無限木モデルよりも低いパープレキシティを達成し、優れた予測性能を示した。
• 合成データでは、STMは内容語（名詞、動詞）においてHDPを上回り、機能語（前置詞、限定語）においては無限木モデルを上回いため、語の品詞ごとのバランスの取れた強みを示した。
• 内容語（名詞、動詞）において、STMはHDPよりも低いパープレキシティを達成しており、文書レベルの主題的パターンをよりよく捉えていることを示している。
• 機能語（前置詞）において、STMは無限木モデルと同等またはそれを上回り、強い構文的一致性を示している。
• モデルは、意味的に整合性のあるトピック（例：「バミューダ」に関連する語）と、構文的に妥当なトピック（例：前置詞の名詞的目的語）を効果的に特定した。
• モデルの非パrametric特性により、トピック数が可変的に特定可能であり、トピック分布のプロットから一般的でないトピックや特化したトピックが多数存在することが明らかになった。