[論文レビュー] Deep Short Text Classification with Knowledge Powered Attention

Jindong Chen, Yizhou Hu+3 more|arXiv (Cornell University)|Feb 21, 2019

Topic Modeling参考文献 22被引用数 10

ひとこと要約

本稿では、知識ベースからの外部知識を二重アテンションメカニズムを用いて統合することで、短いテキスト分類を向上させる深層ニューラルネットワークモデルSTCKAを提案する。概念から短いテキスト（C-ST）および概念集合へのアテンション（C-CS）を適用することで、関連する概念の重みを動的に設定し、意味的表現を向上させ、4つの公開データセットで最先端の性能を達成した。

ABSTRACT

Short text classification is one of important tasks in Natural Language Processing (NLP). Unlike paragraphs or documents, short texts are more ambiguous since they have not enough contextual information, which poses a great challenge for classification. In this paper, we retrieve knowledge from external knowledge source to enhance the semantic representation of short texts. We take conceptual information as a kind of knowledge and incorporate it into deep neural networks. For the purpose of measuring the importance of knowledge, we introduce attention mechanisms and propose deep Short Text Classification with Knowledge powered Attention (STCKA). We utilize Concept towards Short Text (C- ST) attention and Concept towards Concept Set (C-CS) attention to acquire the weight of concepts from two aspects. And we classify a short text with the help of conceptual information. Unlike traditional approaches, our model acts like a human being who has intrinsic ability to make decisions based on observation (i.e., training data for machines) and pays more attention to important knowledge. We also conduct extensive experiments on four public datasets for different tasks. The experimental results and case studies show that our model outperforms the state-of-the-art methods, justifying the effectiveness of knowledge powered attention.

研究の動機と目的

• 短いテキストにおける曖昧さと文脈情報の不足が、正確な分類を妨げるという問題に対処すること。
• 知識ベース（KBs）からの構造的事前知識を無視する暗黙的ニューラルモデルの限界を克服すること。
• アテンションメカニズムを用いて、KBから得られる概念のノイズや曖昧さを軽減すること。
• 意味的関連性と識別力に基づいて、概念の重みを動的に設定することで分類性能を向上させること。
• 概念的知識を深層学習フレームワークに統合することで、明示的および暗黙的表現を統一すること。

提案手法

• 短いテキストを関連する概念にリンクするため、概念化を介して外部知識ベース（例：YAGO、Freebase）から概念的情報を取得する。
• 概念から短いテキスト（C-ST）アテンションを適用し、短いテキストとその候補概念との間の意味的類似度を計算する。
• 概念集合へのアテンション（C-CS）を用いて、取得した概念集合内での各概念の相対的重要性を評価する。
• C-STおよびC-CSアテンションスコアを、学習可能なソフトスイッチを介して統合し、各概念の最終アテンション重みを生成する。
• 最終アテンション重みを用いて、概念埋め込みの重み付き和を生成し、概念表現を形成する。
• 自己アテンションを用いて文字レベルおよび語彙レベルの特徴を統合し、文脈に適した短いテキスト表現を生成し、これを概念表現と統合して分類に用いる。

実験結果

リサーチクエスチョン

• RQ1 知識ベースからの外部知識を統合することで、短いテキスト分類モデルの性能が向上するか？
• RQ2 アテンションメカニズムをどのように用いることで、短いテキストに対する関連性に基づいて取得した概念の重要度を動的に重み付けできるか？
• RQ3 二重アテンションメカニズム（C-STおよびC-CS）は、KB由来の概念における曖昧さやノイズを効果的に軽減できるか？
• RQ4 提案手法は、多様な短いテキスト分類タスクにおいて、既存の最先端手法を上回る性能を示すか？
• RQ5 名前付きエンティティが存在しない、もしくはKBカバレッジが不足する長尾エンティティを有する短いテキストに対して、モデルはどのように対処するか？

主な発見

• 提案されたSTCKAモデルは、4つの公開短いテキスト分類データセットにおいて、最先端の手法を上回る性能を示し、優れた分類精度を達成した。
• 二重アテンションメカニズム（C-STおよびC-CS）は、関連のないまたは曖昧なKB概念からのノイズを効果的に低減した。例えば、「Apple」が「携帯電話」か「果物」かを区別する際のノイズ低減に有効であった。
• モデルは、より識別力の高い概念（例：「起業家」は「人」よりも高い）に高いアテンション重みを割り当て、曖昧またはレアなエンティティの分類性能を向上させた。
• 知識を活用したアテンションの統合により、語彙外語やレアエンティティに対しても、より良い意味的表現が得られた。
• 事例研究により、モデルが人間の推論に類似した動作を示し、意味的に関連性があり識別力のある知識に注目していることが確認された。
• KBが不完全であってもモデルは頑健に動作したが、有用な概念が得られない長尾エンティティでは性能が低下した。