[論文レビュー] Short Text Classification via Knowledge powered Attention with Similarity Matrix based CNN

Mingchen Li, Gabtone. Clinton+2 more|arXiv (Cornell University)|Feb 9, 2020

Topic Modeling参考文献 42被引用数 6

ひとこと要約

本稿では、類似度行列に基づくCNNを用いた知識駆動型アテンションモデルKASMを提案する。知識グラフ埋め込み（特に親エンティティ情報）を統合し、関連する知識を重み付けるアテンション機構を活用することで、意味的表現を向上させ、テキストとラベル間の単語レベルの相互作用を捉える。5つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Short text is becoming more and more popular on the web, such as Chat Message, SMS and Product Reviews. Accurately classifying short text is an important and challenging task. A number of studies have difficulties in addressing this problem because of the word ambiguity and data sparsity. To address this issue, we propose a knowledge powered attention with similarity matrix based convolutional neural network (KASM) model, which can compute comprehensive information by utilizing the knowledge and deep neural network. We use knowledge graph (KG) to enrich the semantic representation of short text, specially, the information of parent-entity is introduced in our model. Meanwhile, we consider the word interaction in the literal-level between short text and the representation of label, and utilize similarity matrix based convolutional neural network (CNN) to extract it. For the purpose of measuring the importance of knowledge, we introduce the attention mechanisms to choose the important information. Experimental results on five standard datasets show that our model significantly outperforms state-of-the-art methods.

研究の動機と目的

• 短いテキスト分類における語の曖昧さとデータスパarsityの課題に対処する。
• 知識グラフからの外部知識を統合することで、短いテキストの意味的表現を向上させる。
• 類似度行列に基づくCNNを用いて、入力テキストとラベル表現間の細分化された相互作用を捉える。
• アテンション機構を用いて知識コンポonentsの重要性を動的に重み付けし、モデルの注目を強化する。
• 従来の手法と比較して、標準的な短いテキスト分類ベンチマークで優れた性能を達成する。

提案手法

• 知識グラフ（KG）を用いて語の表現を豊かにし、特に親エンティティ情報を統合することで意味的文脈を強化する。
• 入力テキストの語埋め込みとラベル表現間の類似度行列を構築し、文脈レベルの相互作用をモデル化する。
• 類似度行列に畳み込みニューラルネットワーク（CNN）を適用し、語とラベル間の局所的相互作用パターンを抽出する。
• 知識グラフエンティティ上でのアテンション機構を統合し、異なる知識コンポonentsに重要性の重みを動的に割り当てる。
• アテンションで重み付けされた知識表現とCNNで抽出された特徴を統合し、最終的な分類を実行する。
• 多クラステキスト分類のための標準的な交差エントロピー損失を用いて、エンドツーエンドのモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ情報（特に親エンティティ関係）を統合することで、短いテキスト分類における意味的表現が向上するか？
• RQ2 類似度行列ベースのCNNは、入力テキストとラベル表現間の相互作用をどの程度効果的に捉えることができるか？
• RQ3 知識エンティティ上のアテンションは、関連する意味的情報を注目することで、性能向上に寄与するか？
• RQ4 提案されたKASMモデルは、標準的な短いテキスト分類ベンチマークで、既存の最先端手法をどの程度上回るか？

主な発見

• KASMモデルは、5つの標準的な短いテキスト分類データセットで、最先端の手法と比較して顕著な性能向上を達成した。
• 知識グラフからの親エンティティ情報の統合により、語の曖昧さの解消とデータスパarsityの低減が図られた。
• 類似度行列ベースのCNNは、入力テキストとラベル表現間の細分化された相互作用を効果的に捉えた。
• アテンション機構は、最も関連性の高い知識コンポonentsを的確に特定・強調し、モデルの解釈可能性と正確性を向上させた。
• アブレーションスタディの結果、知識統合、類似度行列CNN、アテンションの各コンポonentが全体の性能向上に有意義に寄与していることが確認された。