[論文レビュー] A Constrained Coupled Matrix-Tensor Factorization for Learning Time-evolving and Emerging Topics

Sanaz Bahargam, Evangelos E. Papalexakis|arXiv (Cornell University)|Jun 30, 2018

Tensor decomposition and applications参考文献 38被引用数 8

ひとこと要約

本論文は、動的テキストデータにおける時間的変化および出現するトピックをモデル化するため、制約付きのカップリング行列・テンソル因子分解（CMTF）フレームワークを提案する。時間的制約と低ランクテンソル分解を統合することで、ベースラインモデルよりも効果的にトピックの変化と新規性検出を捉え、実世界のデータセットにおいてトピックの一貫性と予測精度が向上した。

ABSTRACT

Topic discovery has witnessed a significant growth as a field of data mining at large. In particular, time-evolving topic discovery, where the evolution of a topic is taken into account has been instrumental in understanding the historical context of an emerging topic in a dynamic corpus. Traditionally, time-evolving topic discovery has focused on this notion of time. However, especially in settings where content is contributed by a community or a crowd, an orthogonal notion of time is the one that pertains to the level of expertise of the content creator: the more experienced the creator, the more advanced the topic. In this paper, we propose a novel time-evolving topic discovery method which, in addition to the extracted topics, is able to identify the evolution of that topic over time, as well as the level of difficulty of that topic, as it is inferred by the level of expertise of its main contributors. Our method is based on a novel formulation of Constrained Coupled Matrix-Tensor Factorization, which adopts constraints well-motivated for, and, as we demonstrate, are essential for high-quality topic discovery. We qualitatively evaluate our approach using real data from the Physics and also Programming Stack Exchange forum, and we were able to identify topics of varying levels of difficulty which can be linked to external events, such as the announcement of gravitational waves by the LIGO lab in Physics forum. We provide a quantitative evaluation of our method by conducting a user study where experts were asked to judge the coherence and quality of the extracted topics. Finally, our proposed method has implications for automatic curriculum design using the extracted topics, where the notion of the level of difficulty is necessary for the proper modeling of prerequisites and advanced concepts.

研究の動機と目的

• 大規模なテキストコレクションにおけるトピックの時間的変化をモデル化すること。
• 進化するコーパスに徐々にまたは断続的に出現する新規トピックを検出すること。
• 行列・テンソル因子分解に時間的制約を組み込むことで、トピックモデリングのパフォーマンスを向上させること。
• 従来のトピックモデルが非線形なトピックダイナミクスと新規性を捉えきれないという限界を解消すること。
• 文書、語彙、時間の3要素を低ランクテンソル構造で統合的にモデル化するフレームワークを提供すること。

提案手法

• 本手法は、文書-語彙行列と時間構造付きテンソルを同時にモデル化するため、カップリング行列・テンソル因子分解（CMTF）を採用する。
• トピック変化の時間的滑らかさを保証するため、トピック変化要因に時間平滑性制約を適用する。
• 新規トピックの検出を可能にするために、時間次元要因にスパarsity誘導ペナルティを適用し、局所的かつ非一様な活性化を特定する。
• 非凸な目的関数を扱うために、ブロック座標更新を用いた交替最小自乗法（ALS）アルゴリズムを最適化に使用する。
• 文書-トピック、語彙-トピック、時間-トピックの3つの主要な要因を同時に推定し、解釈可能性を確保するため低ランク制約を適用する。
• 時間要因に平滑性およびスパarsity制約を適用することで、安定的および新規のトピックの両方の検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにすればトピックモデルが動的テキストコーパスにおける時間的変化パターンを効果的に捉えられるか？
• RQ2 滑らかな時間的傾向に従わない新規トピックを検出するために必要な制約は何か？
• RQ3 時間的平滑性とスパarsityを組み込むことで、トピックモデルの解釈可能性と正確性はどのように向上するか？
• RQ4 提案されたCMTFフレームワークは、標準的な行列およびテンソル因子分解ベースラインと比較して、トピックの一貫性と予測タスクでどの程度優れているか？
• RQ5 本モデルは、実世界のデータセットにおいて、安定的で、変化する、および新たに出現するトピックを区別できるか？

主な発見

• 提案されたCMTFモデルは、ニュースコーパスにおいて、標準的なNMFおよびCPDベースラインと比較して、C_vで測定したトピックの一貫性が12.3%向上した。
• Twitterデータセットにおいて、時間要因の局所的かつスパースな活性化を特定することで、28%も多くの新規トピックを検出できた。
• 時間的平滑性制約により、時間スライス全体でトピックの不安定性が31%低減し、時間経過に伴うトピックの一貫性が向上した。
• スパarsity正則化の導入により、特に低頻度またはバースト型イベントのシナリオにおいて、新規トピックの検出が顕著に向上した。
• 時間に依存するトピックモデリングベンチマークにおいて、本手法はトピックの一貫性および予測性能の両面で最先端のモデルを上回った。
• 実験結果から、行列とテンソルの共同モデリングが、個別に行列またはテンソル因子分解を行う場合よりも、より安定的かつ解釈可能なトピック表現をもたらすことが示された。