[論文レビュー] Topic Memory Networks for Short Text Classification

Jichuan Zeng, Jing Li+4 more|arXiv (Cornell University)|Sep 11, 2018

Topic Modeling参考文献 33被引用数 12

ひとこと要約

本稿では、データスパarsityを軽減するためのメモリ拡張機構を用いて、潜在的トピックを共同で学習するとともに短いテキスト分類を実行する、エンドツーエンドの深層学習フレームワーク「トピックメモリネットワーク（TMN）」を提案する。コーパスレベルのトピック表現をメモリネットワークによって符号化することで、TMNは分類精度を向上させ、一貫性がありラベルを示唆するトピックを生成し、4つのベンチマークデータセットにおいて最先端のモデルを上回る性能を発揮する。

ABSTRACT

Many classification models work poorly on short texts due to data sparsity. To address this issue, we propose topic memory networks for short text classification with a novel topic memory mechanism to encode latent topic representations indicative of class labels. Different from most prior work that focuses on extending features with external knowledge or pre-trained topics, our model jointly explores topic inference and text classification with memory networks in an end-to-end manner. Experimental results on four benchmark datasets show that our model outperforms state-of-the-art models on short text classification, meanwhile generates coherent topics.

研究の動機と目的

• 従来のモデルの性能を阻害する短いテキスト分類におけるデータスパarsity問題に対処すること。
• 外部知識ソースに依存しないように、内部のテキストデータからのみ有効な表現を学習すること。
• エンドツーエンドの方法で潜在的トピックを推論し、分類を実行することで、表現品質を向上させること。
• 分類に最も関連するトピック表現を効果的に選択・参照するメモリ機構を開発すること。
• ラベルを示唆する一貫性があり意味的に意味のあるトピックを生成すること。

提案手法

• 短いテキストコーパスから潜在的トピックを発見するために、変分自己オートエンコーダ（VAE）スタイルのニューラルトピックモデル（NTM）を採用する。
• メモリネットワークをインspiredした、新たなトピックメモリ機構を導入し、アテンションに基づいてトピック表現を格納および取得する。
• 分類の過程で、メモリネットワークは動的に関連性の高い潜在的トピックに注目し、短いテキスト表現を豊かにする。
• 全フレームワークをエンドツーエンドで訓練し、トピック推論とテキスト分類の目的関数を同時に最適化する。
• 文書間の語の共起パターンを用いて、意味的クラスタを捉えるトピック表現を学習する。
• 分類器は、注目されたトピック表現を用いてラベルを予測し、外部特徴量や事前学習済みトピックの必要がない。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張アーキテクチャは、潜在的トピック表現を活用することで、短いテキスト分類を効果的に改善できるか？
• RQ2 トピックと分類を共同でエンドツーエンドで学習することは、固定された事前学習済みトピックを特徴量として使用するモデルを上回るか？
• RQ3 提案されたトピックメモリ機構は、外部知識なしに一貫性がありラベルを示唆するトピックを生成できるか？
• RQ4 ベンチマーク短いテキスト分類データセットにおいて、最先端の手法と比較して、このモデルはどの程度の性能を発揮するか？
• RQ5 学習されたトピックは、多義語的または文脈依存的な語を含む曖昧な短いテキストをどの程度解消するのに役立つか？

主な発見

• 提案されたトピックメモリネットワーク（TMN）は、4つのベンチマーク短いテキスト分類データセットで最先端の性能を達成し、精度とトピックの一貫性の両面で既存のモデルを上回っている。
• モデルは、質的分析を通じて、ラベルを強く示唆する一貫性があり解釈可能なトピックを生成している。
• トピック推論と分類の共同エンドツーエンド学習は、事前学習済みトピックを用いる手法よりも優れた表現学習を実現している。
• トピックメモリ機構は、文脈的に関連するトピックを効果的に捉えており、語の意味の曖昧さや多義語による誤分類を低減している。
• 特に語彙や文脈が限られた短いテキストにおいて、データスパarsityに対して頑健であることが示された。
• 誤差分析の結果、主な失敗要因は多義語（例：'Super Bowl' がスポーツとして誤分類）とフレーズレベルの意味構造の欠如であり、文脈に敏感な埋め込みやフレーズ発見の導入によりさらなる改善が可能であると考えられる。