[論文レビュー] Leveraging Knowledge Bases in LSTMs for Improving Machine Reading

Bishan Yang, Tom M. Mitchell|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling参考文献 46被引用数 27

ひとこと要約

本稿では、注意メカニズムとセンチネルゲートを用いて、動的に連続的知識ベース（KB）埋め込みを統合する新しいBiLSTMアーキテクチャ、KBLSTMを提案する。WordNetとNELLの埋め込みを適応的に活用することで、ゴールドスタンダードのエンティティアノテーションを用いないにもかかわらず、ACE2005におけるエンティティ抽出およびイベント抽出の両タスクで最先端の性能を達成する。

ABSTRACT

This paper focuses on how to take advantage of external knowledge bases (KBs) to improve recurrent neural networks for machine reading. Traditional methods that exploit knowledge from KBs encode knowledge as discrete indicator features. Not only do these features generalize poorly, but they require task-specific feature engineering to achieve good performance. We propose KBLSTM, a novel neural model that leverages continuous representations of KBs to enhance the learning of recurrent neural networks for machine reading. To effectively integrate background knowledge with information from the currently processed text, our model employs an attention mechanism with a sentinel to adaptively decide whether to attend to background knowledge and which information from KBs is useful. Experimental results show that our model achieves accuracies that surpass the previous state-of-the-art results for both entity extraction and event extraction on the widely used ACE2005 dataset.

研究の動機と目的

• 従来の特徴ベースのKB統合手法が、疎でタスク固有で、一般化能力に欠ける記号的特徴に依存するという限界を是正すること。
• 再帰的ニューラルネットワークが、シーケンス処理中に外部知識ベースを動的にかつ文脈的に活用できるようにすること。
• WordNetとNELLのKBコンセプトの連続的表現をBiLSTM隠れ状態と統合することで、エンティティおよびイベント抽出タスクにおける機械読解性能を向上させること。
• どのKBコンセプトが関連しているか、そしていつKB知識に注目すべきかを判断するメカニズムを開発し、多義語や文脈に依存しないKB利用による誤分類を回避すること。

提案手法

• KBLSTMは、各時刻ステップでWordNetおよびNELLのKBコンセプトの連続的埋め込みを隠れ状態計算に組み込むことで、双方向LSTMを拡張する。
• 注意メカニズムが、現在の入力語および文脈に対する意味的関連性に基づいて、関連するKBコンセプトの動的重みを計算する。
• センチネルゲートを導入し、KB知識に注目するか、単にテキスト文脈に依存するかを学習することで、文脈に配慮した統合を可能にする。
• 知識グラフ埋め込みは、知識グラフ埋め込み手法を用いて学習され、KBコンセプトの連続的で密な表現として用いられる。
• エンティティおよびイベント抽出タスクにおけるシーケンスラベル付けのために、CRF層を用いてエンドツーエンドでモデルを訓練する。
• 注意メカニズムは、KBコンセプト埋め込みの重み付き和を計算し、それをLSTM隠れ状態と連結または要素ごとの和で統合する。

実験結果

リサーチクエスチョン

• RQ1 連続的知識ベース埋め込みを再帰的ニューラルネットワークに効果的に統合することで、機械読解性能を向上させることができるか？
• RQ2 ニューラルモデルが、現在のテキスト文脈に対して、いつ、どの外部KBから知識を活用すべきかを動的に判断できるか？
• RQ3 センチネルメカニズムにより、テキスト文脈が十分な場合に、誤ったKB情報に干渉するのを防ぐことで、性能を向上させられるか？
• RQ4 提案手法は、従来の特徴ベースのKB統合手法および標準的なBiLSTMモデルよりも、エンティティおよびイベント抽出ベンチマークで優れているか？
• RQ5 文脈に配慮したKB注意を用いることで、'Clinton'のような多義語をどれだけ正しく分類できるか？

主な発見

• KBLSTM-CRFは、ACE2005イベント抽出テストセットで69.7のF1スコアを達成し、ゴールドスタンダードのエンティティアノテーションを用いた手法を含む先行手法を上回り、新たな最先端のスコアを記録した。
• イベント抽出において、ベースラインのBiLSTMより5.0ポイント、BiLSTM-Fea-CRFより4.0ポイントのF1スコア向上を達成し、連続的KB統合の有効性を示した。
• エンティティ抽出においては、KBLSTM-CRFがF1スコア71.6を達成し、BiLSTM-CRFベースライン（65.4）および他の特徴ベースモデルを大きく上回った。
• 可視化の結果、同じ単語（例：'clinton'）に対し、文脈に応じて異なるWordNetおよびNELLコンセプトに注目することが学習されたことが示され、正しく人物または場所として識別された。
• 'in'が場所を示す文脈である場合に、テキスト文脈が十分であるため、KB注目を抑制するようにセンチネルゲートが学習していることが観察され、誤ったKBエントリへの依存を減らした。
• 多義語（例：'head'が移動または開始位置を示すイベントトリガーとして機能する場合）に対しても、文脈に適したKBコンセプトに注目することで、効果的に意味の解消が行われた。