[論文レビュー] Analysis of Morphology in Topic Modeling.

Chandler May, Ryan Cotterell+1 more|arXiv (Cornell University)|Aug 13, 2016

Topic Modeling参考文献 24被引用数 4

ひとこと要約

この論文は、語形変化の変動を減らすことでトピックモデルの解釈可能性がどのように向上するかを調査している。文書が語形に富んだ言語で書かれたウィキペディア記事を対象に、語形還元を用いた語の挿入評価を実施した結果、LDAモデルにおけるトピック表現の質が顕著に向上し、より一貫性があり意味のある上位語リストが得られることを示している。

ABSTRACT

Topic models make strong assumptions about their data. In particular, different words are implicitly assumed to have different meanings: topic models are often used as human-interpretable dimensionality reductions and a proliferation of words with identical meanings would undermine the utility of the top-$m$ word list representation of a topic. Though a number of authors have added preprocessing steps such as lemmatization to better accommodate these assumptions, the effects of such data massaging have not been publicly studied. We make first steps toward elucidating the role of morphology in topic modeling by testing the effect of lemmatization on the interpretability of a latent Dirichlet allocation (LDA) model. Using a word intrusion evaluation, we quantitatively demonstrate that lemmatization provides a significant benefit to the interpretability of a model learned on Wikipedia articles in a morphologically rich language.

研究の動機と目的

• 語形変化が潜在ディリクレ割り当て（LDA）におけるトピックモデルの解釈可能性に与える影響を調査すること。
• 語形正規化による類義語の減少を経て、語形還元がトピック表現の質を向上させるかどうかを評価すること。
• 定量的評価手法を用いて、前処理としての語形還元がトピックモデルの解釈可能性に与える影響を実証的に評価すること。
• 語形正規化がトピックの上位語リストの一貫性と人間による解釈可能性を向上させるかどうかの証拠を提供すること。

提案手法

• 語形に富んだ言語で書かれたウィキペディア記事に語形還元を適用し、変形語形を基本形に還元する。
• 元のテキストと語形還元済みテキストの両方を用いて、潜在ディリクレ割り当て（LDA）モデルを学習し、トピック表現を比較する。
• 語の挿入評価を用いて解釈可能性を測定し、人間の評価者がトピックの上位語リストに含まれるターゲット語をどれだけ正確に特定できるかを評価する。
• 元のテキストと語形還元済みテキストの両方でモデルのパフォーマンスを比較し、語の挿入検出精度が高くなるほど解釈可能性が向上していることを示す。
• 統計的分析を用いて、語形還元による解釈可能性の向上が有意であるかどうかを判断する。

実験結果

リサーチクエスチョン

• RQ1 語形還元は語形に富んだ言語におけるトピックモデルの解釈可能性を向上させるか？
• RQ2 語形変化はLDAトピックにおける上位語リストの一貫性にどのように影響するか？
• RQ3 語の挿入タスクによって測定した場合、語形還元がトピック表現の質をどの程度向上させるか？
• RQ4 ウィキペディアテキストに語形還元を適用した際、解釈可能性の向上が統計的に有意であるか？

主な発見

• 語形に富んだ言語のウィキペディア記事において、語形還元はLDAモデルの解釈可能性を顕著に向上させる。
• 語の挿入評価では、語形還元済みテキストにおけるターゲット語の検出精度が高かったため、トピックの一貫性が向上していることが示された。
• 解釈可能性の向上は定量的に測定可能であり、統計的に有意である。
• 結果から、語形正規化が人間が解釈可能な次元削減ツールとしてのトピックモデルの有用性を高めていることが示唆される。