[論文レビュー] Prior matters: simple and general methods for evaluating and improving topic quality in topic modeling

Angela Fan, Finale Doshi‐Velez+1 more|arXiv (Cornell University)|Jan 12, 2017

Topic Modeling参考文献 17被引用数 6

ひとこと要約

本論文は、標準的でドメイン固有のストップワードがトピック分布を支配するのを防ぐために、情報性の高い事前分布を用いることでトピックモデルの品質を向上させる、革新的なアプローチを提案する。これにより、人間のトピック品質評価と強く相関する新しい指標であるリフトスコアを導入し、共起性やPMIといった標準的指標に比べて、意味のない高頻度語が存在する状況でも低品質トピックをより効果的に検出できる。

ABSTRACT

Latent Dirichlet Allocation (LDA) models trained without stopword removal often produce topics with high posterior probabilities on uninformative words, obscuring the underlying corpus content. Even when canonical stopwords are manually removed, uninformative words common in that corpus will still dominate the most probable words in a topic. In this work, we first show how the standard topic quality measures of coherence and pointwise mutual information act counter-intuitively in the presence of common but irrelevant words, making it difficult to even quantitatively identify situations in which topics may be dominated by stopwords. We propose an additional topic quality metric that targets the stopword problem, and show that it, unlike the standard measures, correctly correlates with human judgements of quality. We also propose a simple-to-implement strategy for generating topics that are evaluated to be of much higher quality by both human assessment and our new metric. This approach, a collection of informative priors easily introduced into most LDA-style inference methods, automatically promotes terms with domain relevance and demotes domain-specific stop words. We demonstrate this approach's effectiveness in three very different domains: Department of Labor accident reports, online health forum posts, and NIPS abstracts. Overall we find that current practices thought to solve this problem do not do so adequately, and that our proposal offers a substantial improvement for those interested in interpreting their topics as objects in their own right.

研究の動機と目的

• 標準的でドメイン固有のストップワードがトピックモデルの出力を支配するという、解釈可能性を損なう継続的な問題に対処すること。
• ストップワードが存在する際、人間の判断と相関しない標準的トピック品質指標（共起性、PMI）の欠陥を明らかにすること。
• 複雑な再トレーニングやカスタム推論を必要とせず、一般化可能な単純な手法として情報性の高い事前分布を用いたトピック品質の向上を提案すること。
• 人間によるトピック品質評価と良好に相関する新しい評価指標、リフトスコアを導入すること。この指標は、さまざまな語彙に対して有効である。
• 事故報告、健康フォーラム、NIPSの要約という3つの多様なドメインにおいて、提案手法の有効性を示すこと。

提案手法

• 語-トピック分布に異種の情報性の高い事前分布を導入し、情報のない高頻度語をペナルティ化するとともに、ドメイン関連語を促進する。
• TF-IDFスコアを事前分布として用い、一般的ではあるが情報のない語を低減し、希少で文脈的に関連性の高い語を強調する。
• キーワードシーディング事前分布を適用し、既知の関連語（例：'autism'、'hospitalized'）に高い事前確率を割り当てることで、トピック形成をガイドする。
• LDAにおける対称的ディリクレ事前分布を、これに代わる非対称な情報性の高い事前分布に置き換え、推論アルゴリズムの変更は不要である。
• ベースライン頻度を補正したポイントワイズ相互情報量に基づく新しい指標、リフトスコアを考案し、語彙サイズに依存しないトピック品質の評価を可能にする。
• 人間による評価と、複数のトピック品質指標およびデータセットを用いた定量的比較を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 共起性やPMIといった標準的トピック品質指標は、人間が解釈不能と判断するトピックであっても、標準的ストップワードに高い確率が割り当てられている場合に、その問題を検出できないのか？
• RQ2 特にドメイン固有のストップワードや標準的ストップワードが存在する状況でも、人間のトピック品質評価と良好に相関する新しい指標、リフトスコアは、より優れた指標となるのか？
• RQ3 推論手順の変更や大量の事前処理を要せず、情報性の高い事前分布を用いてトピック品質を向上させることは可能か？
• RQ4 提案手法は、語彙やストップワードの特徴が異なる多様なドメインにおいて、一貫してトピックの解釈可能性を向上させるのか？
• RQ5 情報性の高い事前分布とリフトスコアの組み合わせにより、実世界の応用においてより信頼性が高く再現可能で解釈可能なトピックモデリングが可能になるのか？

主な発見

• 共起性やPMIといった標準的トピック品質指標は、標準的ストップワードに高い確率が割り当てられているトピックを系統的に好むため、誤った評価を引き起こす。
• リフトスコア指標は人間によるトピック品質評価と強く相関し、語彙サイズが異なるモデルに対しても有効であるのに対し、共起性やPMIはそのような状況では有効でない。
• 特にTF-IDFとキーワードシーディング事前分布を用いた情報性の高い事前分布の使用により、標準的でドメイン固有のストップワードが上位トピック語に現れる頻度が顕著に低下する。
• TF-IDF事前分布は、標準的ストップワードの数をトピックごとに上位30語にわたって減少させるとともに、一般的で情報のない語の出現も抑制した。
• 提案手法は人間評価において高いトピック品質スコアを達成し、手動によるストップワード除去やハイパーパrameterチューニングを施したすべてのベースラインを上回った。
• 情報性の高い事前分布アプローチは、労働省報告書、健康フォーラム、NIPSの要約という多様なドメインで堅牢に機能し、最小限のパラメータチューニングで実装可能であり、広く適用可能で使いやすい。