[論文レビュー] Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling

Diego Marcheggiani, Ivan Titov|arXiv (Cornell University)|Mar 14, 2017

Topic Modeling参考文献 39被引用数 29

ひとこと要約

本論文は、意味役割抽出（SRL）の性能を向上させるために、構文的依存グラフに特化した新しいグラフ畳み込みネットワーク（GCN）アーキテクチャを提案する。双方向LSTMの上にGCN層を積み重ねることで、逐次的および構文的構造の両方を捉える。CoNLL-2009で英語および中国語の両方において最先端の性能を達成し、アンサンブル手法を用いてオフ・ドメインテストセットで78.9のF1スコアを達成した。

ABSTRACT

Semantic role labeling (SRL) is the task of identifying the predicate-argument structure of a sentence. It is typically regarded as an important step in the standard NLP pipeline. As the semantic representations are closely related to syntactic ones, we exploit syntactic information in our model. We propose a version of graph convolutional networks (GCNs), a recent class of neural networks operating on graphs, suited to model syntactic dependency graphs. GCNs over syntactic dependency trees are used as sentence encoders, producing latent feature representations of words in a sentence. We observe that GCN layers are complementary to LSTM ones: when we stack both GCN and LSTM layers, we obtain a substantial improvement over an already state-of-the-art LSTM SRL model, resulting in the best reported scores on the standard benchmark (CoNLL-2009) both for Chinese and English.

研究の動機と目的

• 再帰的ネットワークが語レベルでの構文的構造を効果的に統合できないという限界に対処すること。
• グラフ畳み込みネットワーク（GCNs）が自然言語処理（NLP）タスクにおいて構文的依存グラフを効果的にモデル化できるかを示すこと。
• GCNと双方向LSTMを組み合わせることで、相補的なモデリング能力を活かし、意味役割抽出の性能を向上させること。
• GCNによる構文的構造の符号化が、ノイズの多いパーサーに対しても頑健な性能を示すかを示すこと。
• 言語的グラフ構造をニューラルシーケンスモデルに統合するための汎用フレームワークを確立すること。

提案手法

• ラベル付きで有向の依存グラフを想定した、変更を加えたGCNの変種を提案し、構文的木へのメッセージパッシングを可能にする。
• 多層GCNを用いてKホップ以内のノードからの情報を集約し、より豊かな構文的文脈を捉える。
• 双方向LSTM層の上にGCN層を積み重ね、逐次的および構文的依存関係を同時にモデル化する。
• 自己ループとエッジ固有の特徴を組み込んだ正規化されたグラフ畳み込み演算を採用し、構文的関係を表現する。
• GCN層とLSTM層の間にゲーテッド機構を導入し、情報の流れを動的に制御する。
• クロスエントロピー損失を用いてエンド・ツー・エンドで学習し、共同でアーギュメント予測を実行するためCRFデコードを適用する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、NLPタスクにおける構文的依存構造を効果的にモデル化できるか？
• RQ2 GCNとLSTMを組み合わせることで、単独で使用する場合よりも意味役割抽出の性能が向上するか？
• RQ3 特にオフ・ドメインデータにおいて、構文的パーサーの誤りに対して、GCNベースのSRLモデルはどれほど頑健か？
• RQ4 GCNは、文の意味をモデル化する際に、再帰的ネットワークに対して補完的なインダクティブバイアスを提供できるか？
• RQ5 提案されたGCNアーキテクチャは、言語的グラフ構造を含む他のNLPタスクへ一般化可能か？

主な発見

• GCN-LSTMアンサンブルモデルは、CoNLL-2009のオフ・ドメインテストセットで78.9のF1スコアを達成し、新たな最先端の性能を記録した。
• 強力なLSTMオンリーベースラインを上回ったことから、GCNとLSTMが相補的なモデリング能力を持つことが実証された。
• ノイズの多い構文的パースに対しても、GCNベースのモデルは高い性能を維持しており、パーサーエラーに対して頑健であることが示された。
• CRFに構文特徴を組み込んだ手法やテンソルベースの手法など、従来の構文に配慮したアプローチを上回った。
• アブレーションスタディの結果、GCN層がLSTMの上に積み重ねられることで、特に長距離の構文的依存関係を捉える能力が著しく向上することが確認された。
• 結果から、GCNはSRLにとどまらず、神経ネットワークNLPモデルにおける言語的構造の符号化に汎用的ツールとして機能できる可能性が示唆された。