[논문 리뷰] Graph Neural Networks for Natural Language Processing: A Survey

Lingfei Wu, Yu Chen외 6명|arXiv (Cornell University)|2021. 06. 10.

Topic Modeling참고 문헌 421인용 수 68

한 줄 요약

이 설문조사는 NLP를 위한 그래프 신경망(GNN)에 대한 포괄적인 분류 체계와 리뷰를 제공하며, 그래프 구성, 표현 학습, 인코더-디코더 모델, 적용 분야, 데이터셋, 그리고 향후 방향을 다룹니다.

ABSTRACT

Deep learning has become the dominant approach in coping with various tasks in Natural LanguageProcessing (NLP). Although text inputs are typically represented as a sequence of tokens, there isa rich variety of NLP problems that can be best expressed with a graph structure. As a result, thereis a surge of interests in developing new deep learning techniques on graphs for a large numberof NLP tasks. In this survey, we present a comprehensive overview onGraph Neural Networks(GNNs) for Natural Language Processing. We propose a new taxonomy of GNNs for NLP, whichsystematically organizes existing research of GNNs for NLP along three axes: graph construction,graph representation learning, and graph based encoder-decoder models. We further introducea large number of NLP applications that are exploiting the power of GNNs and summarize thecorresponding benchmark datasets, evaluation metrics, and open-source codes. Finally, we discussvarious outstanding challenges for making the full use of GNNs for NLP as well as future researchdirections. To the best of our knowledge, this is the first comprehensive overview of Graph NeuralNetworks for Natural Language Processing.

연구 동기 및 목표

• 그래프 구성, 그래프 표현 학습, 그리고 그래프 기반 인코더-디코더 모델을 따라 연구를 정리하는 NLP용 GNN의 새로운 분류 체계를 제안한다.
• 그래프 구성 및 학습 기술의 상세 비교와 함께 다양한 NLP 작업에 대한 최첨단 GNN 기반 접근법을 요약한다.
• 데이터셋, 평가 지표, 오픈 소스 코드 등을 포함하여 GNN을 활용하는 NLP 애플리케이션의 목록을 제공한다.
• NLP에서 GNN을 온전히 활용하기 위한 주요 도전과제와 향후 연구 방향을 논의한다.

제안 방법

• 그래프 구성, 그래프 표현 학습, 인코더-디코더 모델, 그리고 응용 분야의 네 축에 걸친 NLP용 GNN의 분류 체계를 소개한다.
• NLP 작업을 위한 정적 그래프와 동적 그래프를 포함한 그래프 구성 방법을 검토한다.
• 스펙트럴, 공간, 어텐션 기반, 순환 그래프 필터를 상세히 다루며 그래프 표현 학습 기법을 조사한다.
• graph2seq, graph2tree, graph2graph와 같은 그래프 기반 인코더-디코더 모델과 NLP에의 응용 가능성을 설명한다.
• NLP 애플리케이션, 벤치마크 데이터셋, 평가 지표, 이용 가능한 오픈 소스 코드를 요약한다.
• 그래프 구성, 학습, 모델 효과를 개선하기 위한 과제들을 논의하고 NLP에서의 향후 연구 방향을 제안한다.

Figure 1: The taxonomy, which systematically organizes GNNs for NLP along four axes: graph construction, graph representation learning, encoder-decoder models, and the applications.

실험 결과

연구 질문

• RQ1 다양한 NLP 작업에 가장 효과적인 그래프 구성은 무엇이며 텍스트 데이터를 정보성 있는 그래프 구조로 어떻게 변환할 수 있는가?
• RQ2 다양한 그래프 구조(정적/동적, 방향성/비방향성, 다중 관계, 이질적)에 대해 어떤 GNN 변형과 그래프 필터가 NLP 문제에 가장 적합한가?
• RQ3 그래프 기반 인코더/디코더(graph2seq, graph2tree, graph2graph)를 다양한 NLP 작업에 어떻게 최적으로 적용할 수 있으며 어떤 데이터셋과 지표가 성능을 가장 잘 반영하는가?
• RQ4 GNN을 NLP에 적용하는 데 있어 주요 도전과제와 열려 있는 연구 방향은 무엇이며 이를 향후 연구에서 어떻게 해결할 수 있는가?

주요 결과

• 이 논문은 자연어 처리에 적용된 그래프 신경망에 대한 최초의 포괄적 개요를 제공합니다.
• 그래프 구성, 표현 학습, 그래프 기반 인코더-디코더 모델에 대한 상세한 분류 체계와 비교적 논의를 제공합니다.
• 다수의 NLP 애플리케이션, 벤치마크 데이터셋, 평가 지표 및 오픈 소스 코드를 모아 제공합니다.
• 자동 그래프 구성의 실용적 도전과제, 다양한 그래프 유형에 적합한 GNN 변형, 복잡한 NLP 데이터를 모델링하는 방법에 대해 논의합니다.
• NLP에서 GNN 활용을 발전시킬 미래 연구 방향과 기회를 제시합니다.

Figure 2: An example is shown for the dependency graph (left) and the constituency graph (right), respectively. The text input is from JOBS640 (Luke, 2005 ) dataset.