[論文レビュー] An Analysis of Lemmatization on Topic Models of Morphologically Rich Language

Chandler May, Ryan Cotterell+1 more|arXiv (Cornell University)|Aug 13, 2016

Topic Modeling被引用数 9

ひとこと要約

本研究では、ロシア語Wikipediaデータを用いて、変形語彙が豊富な言語における語彙還元のトピックモデルの解釈可能性に与える影響を評価する。語彙フィルタリングを併用した語彙還元は、語の埋め込みタスクによって測定された解釈可能性を顕著に向上させる。これは、語彙還元がロシア語のトピックの一貫性を向上させることを示しており、英語における先行研究とは対照的である。

ABSTRACT

Topic models are typically represented by top-$m$ word lists for human interpretation. The corpus is often pre-processed with lemmatization (or stemming) so that those representations are not undermined by a proliferation of words with similar meanings, but there is little public work on the effects of that pre-processing. Recent work studied the effect of stemming on topic models of English texts and found no supporting evidence for the practice. We study the effect of lemmatization on topic models of Russian Wikipedia articles, finding in one configuration that it significantly improves interpretability according to a word intrusion metric. We conclude that lemmatization may benefit topic models on morphologically rich languages, but that further investigation is needed.

研究の動機と目的

• 語彙還元が語彙変形が豊富な言語（ロシア語など）におけるトピックモデルの解釈可能性を実証的に評価すること。
• ドキュメントの切り詰めと語彙フィルタリングがトピックモデルのパフォーマンスに与える影響を調査すること。
• 対称的および非対称的事前分布、および語彙還元あり・なしのコーパスを用いたトピックモデリングにおける比較。
• 語彙還元がトピックモデルに常に悪影響を及えるという仮定に疑問を呈すること、特に語彙変形が複雑な言語においてはそうではないことを示すこと。
• 屈曲語のトピックモデリングパイプラインにおける前処理について、データ駆動型の推奨事項を提示すること。

提案手法

• 語彙還元は、TreeTaggerの語彙還元ツールを用いてロシア語Wikipedia記事に適用し、変形語形をその標準形（語彙的基準形）にマッピングした。
• 4つの実験的設定を評価した：語彙フィルタリングあり／対称的事前分布と、語彙フィルタリングなし／非対称的事前分布、および、全長ドキュメントと切り詰め（最初の50語）ドキュメント。
• K=100トピックを用いた潜在ディリクレ配分（LDA）を、確率的変分ベイズ推論と固定されたハイパーパrameterを用いて訓練した。
• 解釈可能性は語の埋め込み評価タスクによって測定され、高い検出率はより一貫性があり、人間が解釈可能なトピックを示す。
• 語彙フィルタリングは、語彙還元あり・なしの両方のコーパスから、上位100語（ストップワードを含む）を削除することで、公平な比較を保証した。
• 一様片側検定からのp値を用いて、語彙還元あり・なしのモデル間のパフォーマンス差の統計的有意性を評価した。

実験結果

リサーチクエスチョン

• RQ1 語彙変形が豊富な言語（ロシア語など）において、語彙還元はトピックモデルの解釈可能性を向上させるか？
• RQ2 ドキュメントの切り詰めは、語彙還元あり・なしの両方のトピックモデルのパフォーマンスにどのように影響するか？
• RQ3 語彙フィルタリングは、語彙還元モデルにおける情報的事前分布よりも、より良いトピックの一貫性をもたらすか？
• RQ4 語彙還元が適用された際、対称的および非対称的事前分布は、パフォーマンスでどのように比較されるか？
• RQ5 ロシア語における語彙還元の利点は、英語における語幹抽出の効果と同等であるか？（英語では顕著な利点が認められなかった。）

主な発見

• 語彙フィルタリングと対称的事前分布を併用した語彙還元は、語の埋め込み検出率が0.61に達し、非語彙還元モデル（0.52、p=0.02）を顕著に上回った。
• 切り詰めドキュメントでは全体的な解釈可能性が低く（検出率約0.37～0.47）、語彙還元による利点も小さいことが示された。
• 語彙フィルタリングなし・非対称的事前分布モデルは成績が悪く、『и』『в』『при』『с』『у』といったストップワードがトピックを支配しており、トピックの一貫性が著しく低いことが判明した。
• 全長ドキュメントにおける語彙フィルタリングあり・対称的事前分布モデルが、語彙の重複が減少し、上位語の語彙的多様性が向上したため、最も解釈可能なトピックを生成した。
• 語彙還元は、語彙フィルタリングと併用された場合にのみ、解釈可能性を顕著に向上させた。これは、語彙還元のみではノイズ低減が不十分であるため、解釈可能性向上に不十分であることを示唆している。
• 本研究では、語彙変形が豊富な言語において語彙還元が有効であるという実証的根拠を得た。これは、英語における先行研究とは対照的であり、前処理の効果が言語に依存することを強調している。