[論文レビュー] Semi-supervised NMF Models for Topic Modeling in Learning Tasks

Jamie Haddock, Lara Kassab+10 more|arXiv (Cornell University)|Oct 15, 2020

Text and Document Classification Technologies参考文献 39被引用数 4

ひとこと要約

本稿では、特定の不確実性分布の下での最尤推定を介して教師情報をトピックモデリングに統合する新しい半教師付き非負値行列分解（SSNMF）モデルを提案する。乗法的更新ルールを用いることで、20 Newsgroupsデータセットで中央値81.78%の分類精度を達成するとともに、クラスラベルと整合する明確で解釈可能なトピックを学習する。

ABSTRACT

We propose several new models for semi-supervised nonnegative matrix factorization (SSNMF) and provide motivation for SSNMF models as maximum likelihood estimators given specific distributions of uncertainty. We present multiplicative updates training methods for each new model, and demonstrate the application of these models to classification, although they are flexible to other supervised learning tasks. We illustrate the promise of these models and training methods on both synthetic and real data, and achieve high classification accuracy on the 20 Newsgroups dataset.

研究の動機と目的

• 次元削減の過程でラベル情報を統合するSSNMFモデルの開発を通じて、教師あり学習の性能を向上させること。
• 提案されたSSNMFモデルを、データおよびラベルの不確実性分布を仮定したもとでの最尤推定器として形式的に正当化すること。
• 欠損データおよび部分的教師付き学習をサポートする乗法的更新アルゴリズムの設計。
• 合成データおよび実世界のデータの両方でモデルを評価すること、特にテキスト分類タスクを対象とすること。
• SSNMFが、意味的に整合性があり、かつ分類に有効なトピック表現を生成できることを示すこと。

提案手法

• データおよびラベルの不確実性分布を仮定したもとで、SSNMFを最尤推定（MLE）問題として定式化する。
• I-発散（KL発散）およびフロベニウスノルムを用いた異なる損失関数を用いた、複数のSSNMFバリアントを導入する。
• 非負制約を満たす反復的最適化を可能にするために、すべての提案モデルに対して乗法的更新ルールを導出する。
• 柔軟な目的関数設計および更新ルールにより、部分的教師付き学習および欠損データをサポートする。
• 文書-語彙行列をトピック表現（辞書）と文書-トピック重み（表現行列）に分解することで、モデルをテキストデータに適用する。
• 学習された低次元表現を下流の分類タスクに用い、ベンチマークデータセット上で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きNMFモデルは、特定の不確実性仮定の下で、形式的に最尤推定器として正当化可能か？
• RQ2 I-発散とフロベニウスノルムの異なる組み合わせが、トピックモデリングおよび分類性能に与える影響は何か？
• RQ3 SSNMFは、標準的なNMFやベースライン分類器と比較して、テキストデータにおける分類精度をどの程度向上できるか？
• RQ4 SSNMFが学習するトピックはどの程度解釈可能であり、実世界のデータセットにおける既知のクラスラベルと整合するか？
• RQ5 部分的教師付き学習および欠損データは、SSNMFモデルの収束性および性能にどのような影響を与えるか？

主な発見

• 提案されたSSNMFモデル、特に(D(·‖·), ‖·‖F)-SSNMFバリアントは、20 Newsgroupsデータセットで中央値81.78%のテスト分類精度を達成した。
• トピックモデリングの結果、学習されたトピックは意味的に整合性があり、クラスラベルと整合していた—例えば、中東、銃器、宗教に関するトピックは、政治および宗教のクラスと正しく関連づけられた。
• (D(·‖·), ‖·‖F)-SSNMFモデルは、分類精度において他のSSNMFバリアントを上回ったが、目的関数誤差の最小化においては必ずしも優れてはいなかった。
• 次元削減の過程で、ラベル関連の特徴が適切に保持され、重要なデータ構造が抑制されなかった。
• 学習されたトピック表現は、より高次元の多項分布的ナイーブベイズベースラインと同等の高性能な分類を可能にした。
• 定性的な分析により、各トピックの上位キーワードが意味的に意味的で、対応するクラスと一貫しており、効果的なトピックの一貫性が確認された。