[論文レビュー] Evaluating topic coherence measures

F. Rosner, Alexander Hinneburg+3 more|arXiv (Cornell University)|Mar 25, 2014

Topic Modeling参考文献 13被引用数 54

ひとこと要約

本稿は、科学的哲学から得られるより高次の語の部分集合関係を含めた、二項語類似度を超えたトピック整合性測度の評価を行う。これにより、一括・任意、任意・任意などの多段階整合性測度が、UMass や UCI といった伝統的な二項測度よりも、人間の解釈可能性評価とよりよく一致することが示された。この研究では、これらの高度な整合性測度を直接最適化することで、標準的なトピックモデリングよりも解釈可能性の高いトピックが得られることを示しており、それらが独立した最適化目的としての価値を持つことを示唆している。

ABSTRACT

Topic models extract representative word sets - called topics - from word counts in documents without requiring any semantic annotations. Topics are not guaranteed to be well interpretable, therefore, coherence measures have been proposed to distinguish between good and bad topics. Studies of topic coherence so far are limited to measures that score pairs of individual words. For the first time, we include coherence measures from scientific philosophy that score pairs of more complex word subsets and apply them to topic scoring.

研究の動機と目的

• 複雑な語の部分集合（二項語にとどまらない）に基づく整合性測度が、トピックの解釈可能性を人間の認識とどの程度よく反映しているかを評価すること。
• これらの高度な整合性測度が、トピック生成の有効な最適化目的として機能できるかを検証すること。
• 哲学的整合性測度（one-all、one-any、any-any）と標準的なNLPの整合性測度（UMass、UCI）を、人間評価を用いて比較すること。
• トピックモデルに依存せずに、整合性最適化によって直接解釈可能なトピックを生成することが可能かどうかを調査すること。

提案手法

• 本研究では、語の部分集合間の支持関係を評価する、哲学的整合性測度として「one-all」、「one-any」、「any-any」を導入・適用する。これは、単に語のペアではなく、語の部分集合間の関係を評価する。
• 語集合の生成には、ヒューリスティックなビームサーチアルゴリズムを用い、2つのコーパスの上位TF-IDF語から出発して、各整合性測度を直接最適化する。
• 評価のため、ビームサーチにより500の語集合を生成する（k=3、l=5）。人間のレーティング担当者が、三段階スケール（良い、ニュートラル、悪い）で解釈可能性を評価する。
• 人間のレーティングを用いて、整合性スコアと認識された解釈可能性との間のケンダールのtau順位相関を計算する。
• 本手法は、人工的に生成された語集合（実験I）とLDAによって生成されたトピック（実験III）の両方で、整合性測度を比較する。
• 重複のない語の部分集合W'とW*間の支持を定量化するために、確認測度 d(W', W*) = p(W'|W*) - p(W') が用いられる。

実験結果

リサーチクエスチョン

• RQ1 二項語にとどまらない語の部分集合関係に基づく整合性測度は、トピックの解釈可能性を人間の認識とよりよく予測できるか？
• RQ2 「one-any」や「any-any」のような哲学的整合性測度は、UMass や UCI といった標準的なNLPの整合性測度よりも、人間の評価とよりよく一致するか？
• RQ3 整合性測度の直接最適化は、トピックモデルに依存せずに、解釈可能な語集合を生成するための実用的で効果的な手法であるか？
• RQ4 異なる整合性測度は、合成語集合と実際のLDAトピックの両方に対して、どの程度の性能を示すか？

主な発見

• 「one-any」と「any-any」の整合性測度は、生成された語集合において、人間のレーティングと最高のケンダールのtau順位相関（それぞれ0.592および0.557）を示し、UMass（0.074）やUCI（0.224）を著しく上回った。
• LDAによって生成されたトピックにおいても、「any-any」と「one-any」の整合性測度が人間のレーティングと最も強い相関を示した（ドイツ語では0.379および0.376、英語では0.242および0.239）、UCI（0.371）やUMass（0.243）を上回った。
• 「one-all」の整合性測度も良好な成績を示し、ドイツ語語集合では人間レーティングとの一致率が0.568に達し、人間の解釈可能性と強い一致を示した。
• UMassの整合性測度は人間の判断と最も弱い相関を示した（英語では0.074）、人間のトピック品質認識と一致が乏しいことを示している。
• 哲学的整合性測度の直接最適化により、高い解釈可能性を持つ語集合が得られた。これは、これらの測度がトピック生成のための有効な独立した最適化目的として機能できることを示唆している。
• 結果から、二項整合性測度では複雑な意味的関係を捉えるのが不十分であることが明らかになった。例えば、{bow, tie, match, deck} のような語集合では、語のペアはスコアが良くても、全体としての解釈可能性は乏しいことが示された。