[論文レビュー] Improving Slot Filling Performance with Attentive Neural Networks on Dependency Structures

Lifu Huang, Avirup Sil+2 more|arXiv (Cornell University)|Jul 4, 2017

Topic Modeling被引用数 3

ひとこと要約

本稿では、クエリと候補フィラー間の広範な文脈的スパンを圧縮するために正則化された依存グラフを用いる、スロットフィリングのための新しいDNNアーキテクチャを提案する。さらに、局所的およびグローバルなアテンション機構を組み合わせることで、示唆的な文脈的手がかりを強調する。このアプローチにより、関係抽出タスクで最大16%のFスコア上昇が達成され、スロットフィリングの検証タスクで最大8.5%の上昇が得られ、最先端の手法を上回る性能を発揮する。

ABSTRACT

Slot Filling (SF) aims to extract the values of certain types of attributes (or slots, such as person:cities\_of\_residence) for a given entity from a large collection of source documents. In this paper we propose an effective DNN architecture for SF with the following new strategies: (1). Take a regularized dependency graph instead of a raw sentence as input to DNN, to compress the wide contexts between query and candidate filler; (2). Incorporate two attention mechanisms: local attention learned from query and candidate filler, and global attention learned from external knowledge bases, to guide the model to better select indicative contexts to determine slot type. Experiments show that this framework outperforms state-of-the-art on both relation extraction (16\% absolute F-score gain) and slot filling validation for each individual system (up to 8.5\% absolute F-score gain).

研究の動機と目的

• スロットフィリングにおけるクエリとフィラー要因間の広範な文脈的ギャップに起因する課題に対処すること。従来の関係抽出モデルでは、この課題が効果的に処理されていない。
• 生の文ではなく依存構造をモデル化することで、長距離依存関係をより効果的に捉えることにより、スロットフィリングの性能を向上させること。
• 局所的アテンション（クエリ-フィラー関連）とグローバルアテンション（外部知識ベースからのもの）を組み合わせることで、スロットタイプの識別を強化すること。
• 手作業による特徴量に依存することを減らし、特に微細なスロットタイプや暗黙的なスロットタイプにおいて一般化性能を向上させること。

提案手法

• クエリと候補フィラー要因間の広範な文脈を圧縮するために、依存解析から正則化された依存グラフを構築する。
• 依存グラフ内のすべての <支配語, 従属語> 単語ペアを入力として、畳み込みニューラルネットワーク（CNN）を用いて処理する。
• 各ビグラムと、クエリと候補フィラーの連結ベクトル間の関連性を計算する局所的アテンションを適用する。
• 変換行列を介して、事前に学習されたスロットタイプ表現を用いて、グローバルアテンションを実装し、各ビグラムが各スロットタイプに対してどれほど関連性があるかを測定する。
• 両方のアテンション機構を組み合わせてプーリングをガイドし、スロットタイプ予測に文脈的に関連する特徴に焦点を当てる。
• 外部知識ベースを活用してグローバルアテンションを強化し、暗黙的または曖昧なトリガーの検出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのスロットフィリングにおける性能は、従来の関係抽出タスクと比べてどうか。主な違いは何か。
• RQ2 依存グラフ表現が、クエリとフィラー要因間の広範な文脈的スパンを効果的に圧縮し、スロットフィリングの性能を向上させることができるか。
• RQ3 局所的およびグローバルアテンション機構は、スロットタイプ分類のための示唆的文脈的手がかりの特定をどの程度向上させるか。
• RQ4 微細なスロットタイプや暗黙的なスロットタイプ（微妙なまたは曖昧なトリガーに依存するもの）に対して、モデルの性能はいかがなっているか。

主な発見

• 提案モデルは、最先端の手法と比較して、関係抽出タスクで16%の絶対的Fスコア上昇を達成した。
• スロットフィリングの検証タスクでは、Fスコアが最大8.5%の絶対ポイント上昇を示し、優れた一般化性能を示した。
• 明示的なトリガーを持つスロットタイプ（例：org:subsidiaries）では、訓練データが限られている場合（507件未満）でも高い性能を発揮した。
• 文脈的ギャップが広いスロットタイプ（例：per:states_of_residence や per:employee_of）では、正則化された依存グラフによりノイズが低減され、性能向上が顕著に見られた。
• 大規模な訓練データを有するにもかかわらず、暗黙のスロットタイプ（例：org:location_of_headquarters）では性能が低く、エンティティタイプの監視が不十分であることが示唆された。
• 誤分類の原因を分析した結果、58%以上の誤分類が、矛盾する手がかりに起因しており、たとえば「home」のような曖昧な語を用いて、per:city_of_residence を誤って per:city_of_death と分類してしまう事例が多かった。