[論文レビュー] Topic supervised non-negative matrix factorization

Kelsey MacMillan, James Wilson|arXiv (Cornell University)|Jun 12, 2017

Topic Modeling参考文献 17被引用数 9

ひとこと要約

本稿では、ラベル付きの例示文書を用いてトピック発見をガイドすることで解釈可能性を向上させる、半教師ありトピックモデリング手法であるトピック監視付き非負値行列分解（TS-NMF）を提案する。ラベル付き文書におけるトピックの存在または非存在を制約として定式化することにより、TS-NMFは、10–20%のラベル付き率ですでに非教師ありNMFおよびLDAよりも高い加重ジャカード類似度を達成し、安定した学習を保証する単調かつ収束する最適化アルゴリズムを備えている。

ABSTRACT

Topic models have been extensively used to organize and interpret the contents of large, unstructured corpora of text documents. Although topic models often perform well on traditional training vs. test set evaluations, it is often the case that the results of a topic model do not align with human interpretation. This interpretability fallacy is largely due to the unsupervised nature of topic models, which prohibits any user guidance on the results of a model. In this paper, we introduce a semi-supervised method called topic supervised non-negative matrix factorization (TS-NMF) that enables the user to provide labeled example documents to promote the discovery of more meaningful semantic structure of a corpus. In this way, the results of TS-NMF better match the intuition and desired labeling of the user. The core of TS-NMF relies on solving a non-convex optimization problem for which we derive an iterative algorithm that is shown to be monotonic and convergent to a local optimum. We demonstrate the practical utility of TS-NMF on the Reuters and PubMed corpora, and find that TS-NMF is especially useful for conceptual or broad topics, where topic key terms are not well understood. Although identifying an optimal latent structure for the data is not a primary objective of the proposed approach, we find that TS-NMF achieves higher weighted Jaccard similarity scores than the contemporary methods, (unsupervised) NMF and latent Dirichlet allocation, at supervision rates as low as 10% to 20%.

研究の動機と目的

• ラベルなしトピックモデルにおける解釈可能性のギャップ、すなわち、発見されたトピックが人間の直感と一致しないことがあるという問題に対処すること。
• ユーザーが例示文書を提供することでトピック発見をガイドできる半教師あり手法を開発すること。
• 特に広範または概念的に曖昧なトピックにおいて、人間がラベル付けしたトピックとの整合性を向上させること。
• 問題が非凸であるにもかかわらず、最適化プロセスが単調かつ収束することを保証すること。
• 実世界のコーパス上でこの手法を評価し、低ラベルコストでも有効であることを示すこと。

提案手法

• TS-NMFは、標準的なNMFを拡張し、ユーザーが提供するラベル付き文書を監視として統合し、これらの文書における特定のトピックの存在または非存在を制約する。
• ラベル付き文書におけるトピック制約を強制しながら再構成誤差を最小化する非凸最適化問題を定式化する。
• 反復的乗法的更新アルゴリズムを導出しており、単調かつ局所最適解に収束することが証明されている。
• 誤差重み付けを行列Eを用いて行い、ラベル付き文書の損失関数における優先度を高め、低ラベル率における監視への感受性を向上させる。
• W行列（文書-トピック重み）およびH行列（トピック-語彙分布）に対して重み付き更新を用いる。
• 本手法は、ラベル付きガイドランスを備えた非負値行列分解の任意のタスクに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 半教師ありトピックモデリングは、非教師あり手法と比較して、発見されたトピックと人間がラベル付けしたラベルとの整合性を向上させることができるか？
• RQ2 TS-NMFは、10–20%程度の低ラベル率でも、トピックの解釈可能性を向上させるのに効果的か？
• RQ3 トピック制約を通じてラベル付き例を統合することで、より意味的で一貫性のあるトピック表現が得られるか？
• RQ4 ラベル付きデータが少ない状況で、誤差重み付けはモデルパフォーマンスにどのように影響するか？
• RQ5 与えられたラベル付き率におけるモデル品質の予測に、ラベル付きセット内のトピックカバレッジが信頼できる指標となるか？

主な発見

• TS-NMFは、ReutersおよびPubMedコーパスにおいて、10%～20%のラベル付き率でも、非教師ありNMFおよびLDAよりも高い加重ジャカード類似度スコアを達成した。
• 特に、キーワードが明確に定義されていない広範または曖昧なトピックにおいて、トピックの解釈可能性が顕著に向上した。
• 0.2～0.7のラベル付き率の範囲で、重み付きTS-NMFは重みなしTS-NMFを上回った。これは、誤差重み付けがラベル付きデータへの感受性を高めることを示している。
• あるラベル付きサブセットにおけるトピックカバレッジとモデルパフォーマンスの間に顕著な相関関係はなく、モデル品質はカバレッジよりも監視の質に依存していることが示唆された。
• TS-NMFの反復的アルゴリズムは単調かつ局所最小値に収束し、安定的かつ信頼性のある最適化を保証した。
• TS-NMFは、ユーザーがラベル付き例を用いてトピック発見をガイドできるため、非教師ありモデルの解釈の誤謬を軽減し、より直感的かつ実用的なトピック出力を得られた。