[論文レビュー] Graph Neural Networks for Natural Language Processing: A Survey

Lingfei Wu, Yu Chen+6 more|arXiv (Cornell University)|Jun 10, 2021

Topic Modeling参考文献 421被引用数 68

ひとこと要約

この調査は、自然言語処理（NLP）におけるグラフニューラルネットワーク（GNN）の包括的な分類とレビューを提供する。グラフ構築、表現学習、エンコーダ-デコーダモデル、応用、データセット、今後の方向性を網羅している。

ABSTRACT

Deep learning has become the dominant approach in coping with various tasks in Natural LanguageProcessing (NLP). Although text inputs are typically represented as a sequence of tokens, there isa rich variety of NLP problems that can be best expressed with a graph structure. As a result, thereis a surge of interests in developing new deep learning techniques on graphs for a large numberof NLP tasks. In this survey, we present a comprehensive overview onGraph Neural Networks(GNNs) for Natural Language Processing. We propose a new taxonomy of GNNs for NLP, whichsystematically organizes existing research of GNNs for NLP along three axes: graph construction,graph representation learning, and graph based encoder-decoder models. We further introducea large number of NLP applications that are exploiting the power of GNNs and summarize thecorresponding benchmark datasets, evaluation metrics, and open-source codes. Finally, we discussvarious outstanding challenges for making the full use of GNNs for NLP as well as future researchdirections. To the best of our knowledge, this is the first comprehensive overview of Graph NeuralNetworks for Natural Language Processing.

研究の動機と目的

• グラフ構築、グラフ表現学習、グラフベースのエンコーダ-デコーダモデルに沿って研究を整理する、新しいGNNのNLP向け分類法を提案する。
• グラフ構築と学習技術の詳細な比較を伴う、多様なNLPタスクに対する最新のGNNベースアプローチを要約する。
• GNNを活用するNLPアプリケーションのリストを提供し、データセット、評価指標、オープンソースコードを含む。
• NLPにおけるGNNの最大限の活用に向けた未解決の課題を論じ、今後の研究方向を概説する。

提案手法

• グラフ構築、グラフ表現学習、エンコーダ-デコーダモデル、応用の4軸にわたるNLP向けGNNの分類法を導入する。
• NLPタスクのための静的グラフと動的グラフを含むグラフ構築アプローチをレビューする。
• スペクトル、空間、注意機構ベース、再帰的グラフフィルタを詳述するグラフ表現学習技術を調査する。
• graph2seq、graph2tree、graph2graphなどのグラフベースのエンコーダ-デコーダモデルを説明し、それらのNLPへの適用性を解説する。
• NLPアプリケーション、ベンチマークデータセット、評価指標、利用可能なオープンソースコードを要約する。
• グラフ構築、学習、モデルの有効性を向上させるための課題を論じ、NLPにおける今後の研究方向を提案する。

Figure 1: The taxonomy, which systematically organizes GNNs for NLP along four axes: graph construction, graph representation learning, encoder-decoder models, and the applications.

実験結果

リサーチクエスチョン

• RQ1 さまざまなNLPタスクに対して最も効果的なグラフ構築はどれで、テキストデータをどのように有益なグラフ構造へ変換できるか。
• RQ2 NLP問題のために、静的/動的、有向/無向、多関係、異種データなどの異なるグラフ構造に最も適したGNN変種とグラフフィルタはどれか。
• RQ3 graph2seq、graph2tree、graph2graphなどのグラフベースのエンコーダ-デコーダを多様なNLPタスクに最適に適用するにはどうすればよいか、そしてどのデータセットと指標が彼らの性能を最もよく反映するか。
• RQ4 NLPへのGNN適用における主要な課題と未解決の研究方向は何か、将来の研究でそれらにどう対処できるか。

主な発見

• 本論文は、自然言語処理に適用されたグラフニューラルネットワークの初の総合的な概説を提供する。
• グラフ構築、表現学習、グラフベースのエンコーダ-デコーダモデルに関する詳細な分類法と比較検討をNLP向けに提供する。
• 多数のNLPアプリケーション、ベンチマークデータセット、評価指標、オープンソースコードをまとめている。
• 自動グラフ構築の実務的課題、異なるグラフタイプに適したGNNの変種、複雑なNLPデータのモデリングなどを論じる。
• NLPにおけるGNNの利用を進展させるための今後の研究方向と機会を概説する。

Figure 2: An example is shown for the dependency graph (left) and the constituency graph (right), respectively. The text input is from JOBS640 (Luke, 2005 ) dataset.