[論文レビュー] GraphIE: A Graph-Based Framework for Information Extraction

Yujie Qian, Enrico Santus+3 more|arXiv (Cornell University)|Oct 31, 2018

Topic Modeling参考文献 32被引用数 65

ひとこと要約

GraphIE はタスク固有のグラフ上のグラフ畳み込みニューラルネットワークを導入し、シーケンス tagging に非局所的文脈を注入し、強力な SeqIE のベースラインを超えてテキスト、ソーシャルメディア、ビジュアル領域全体の情報抽出を改善します。

ABSTRACT

Most modern Information Extraction (IE) systems are implemented as sequential taggers and only model local dependencies. Non-local and non-sequential context is, however, a valuable source of information to improve predictions. In this paper, we introduce GraphIE, a framework that operates over a graph representing a broad set of dependencies between textual units (i.e. words or sentences). The algorithm propagates information between connected nodes through graph convolutions, generating a richer representation that can be exploited to improve word-level predictions. Evaluation on three different tasks --- namely textual, social media and visual information extraction --- shows that GraphIE consistently outperforms the state-of-the-art sequence tagging model by a significant margin.

研究の動機と目的

• 情報抽出モデルが局所語のシーケンスを超える非局所かつ非逐次的文脈を活用する動機付け。
• グラフ畳み込みを伝搬させるグラフベースのエンコーダ-デコーダフレームワーク GraphIE を提案。
• タスク固有のグラフを用いて textual, social media, visual IE タスクで GraphIE の有効性を示す。

提案手法

• エンコーダは BiLSTM と CharCNN 特徴量を用いてテキスト単位（語または文）の局所文脈表現を生成。
• グラフモジュールはテキスト単位間のグラフ構造依存性を伝搬するために Graph Convolutional Network (GCN) を適用。
• デコーダは BiLSTM+CRF タガー。グラフ出力はデコーダの隠れ状態を初期化して文脈情報を注入。
• 文レベルのグラフと単語レベルのグラフの双方をサポートし、非局所文脈でタグ付けの曖昧さを低減。
• エッジタイプは別々の重みでモデリングでき、複数層のGCNはグラフ上の受容野を拡張。
• dropout 正則化を伴う Adam で CRF 目的関数を最適化して学習。

実験結果

リサーチクエスチョン

• RQ1 IE における語レベルのタグ付けを改善する非局所依存性をグラフベースモジュールが捕捉できるか？
• RQ2 タスク固有のグラフ（語レベルまたは文レベル）は逐次ベースラインより性能を向上させる誘導バイアスを提供するか？
• RQ3 テキスト、ソーシャルメディア、ビジュアル IE タスクにおける GraphIE の性能は SeqIE ベースラインと比較してどうか？
• RQ4 グラフ構造の寄与は単純な特徴拡張やランダム接続と比べてどれほど performance へ寄与するか？
• RQ5 GraphIE は未知の入力レイアウトや非局所依存を持つレイアウトへ一般化するか？

主な発見

データセット	モデル	F1
CoNLL03	GraphIE	91.74
Chemdner	GraphIE	89.71

• GraphIE は三つの IE タスクで SeqIE（BiLSTM+CRF）を一貫して上回る：テキスト（CoNLL03 と Chemdner）、ソーシャルメディア（Education と Job）、視覚 IE（AECR）。
• CoNLL03 では GraphIE は 91.74 F1 を達成し、SeqIE の 91.16 を上回る。
• Chemdner では GraphIE は 89.71 F1、SeqIE の 88.28 を上回る。
• ソーシャルメディアでは GraphIE の利益が大きく、特に Education 抽出で SeqIE より 3.7% の向上。
• 視覚 IE では GraphIE は属性全体で SeqIE より micro F1 を約 1.2% 改善。
• アブレーションはエッジタイプ意識、水平/垂直エッジ寄与、CRF 層がそれぞれ性能を意味のある程度に向上させることを示す。