[논문 리뷰] Graph Transformer for Graph-to-Sequence Learning

Deng Cai, Wai Lam|arXiv (Cornell University)|2019. 11. 18.

Topic Modeling참고 문헌 44인용 수 37

한 줄 요약

본 논문은 Graph Transformer를 도입한다. 이는 명시적 관계 인코딩과 글로벌 어텐션을 활용하여 노드 간의 직접적 장거리 통신을 가능하게 하는 그래프-투-시퀀스 모델로, AMR-to-text와 syntax-based MT 작업에서 BLEU/chrF++의 최첨단 성능을 달성한다.

ABSTRACT

The dominant graph-to-sequence transduction models employ graph neural networks for graph representation learning, where the structural information is reflected by the receptive field of neurons. Unlike graph neural networks that restrict the information exchange between immediate neighborhood, we propose a new model, known as Graph Transformer, that uses explicit relation encoding and allows direct communication between two distant nodes. It provides a more efficient way for global graph structure modeling. Experiments on the applications of text generation from Abstract Meaning Representation (AMR) and syntax-based neural machine translation show the superiority of our proposed model. Specifically, our model achieves 27.4 BLEU on LDC2015E86 and 29.7 BLEU on LDC2017T10 for AMR-to-text generation, outperforming the state-of-the-art results by up to 2.2 points. On the syntax-based translation tasks, our model establishes new single-model state-of-the-art BLEU scores, 21.3 for English-to-German and 14.1 for English-to-Czech, improving over the existing best results, including ensembles, by over 1 BLEU.

연구 동기 및 목표

• 로컬 이웃 전파를 넘어서는 그래프-투-시퀀스 학습의 동기를 제시한다.
• 노드 간의 글로벌하고 거리 비의존적 커뮤니케이션을 위한 명시적 관계 인코딩을 갖춘 Graph Transformer를 제안한다.
• AMR-to-text 생성 및 구문 기반 신경 기계 번역에서 우수한 성능을 보여준다.
• 그래프 크기, 직경, 재진입(reentrancies)이 성능 및 어텐션 동작에 미치는 영향을 분석한다.

제안 방법

• Shortest-path 관계 인코딩을 통해 노드 간 관계를 모델링하기 위해 multi-head attention을 관계 강화 글로벌 어텐션으로 확장한다.
• 임의의 두 노드 간의 관계를 양방향 GRU로 인코딩된 최단 경로 시퀀스로 표현한다.
• 양방향 통신을 보존하고 그래프 수준 표현을 얻기 위해 역방향 간선과 글로벌 노드를 추가한다.
• 디코더를 글로벌 그래프 표현으로 초기화하고 엔코더-디코더 상호작용에 multi-head attention을 사용하며 카피 메커니즘을 도입한다.
• 생성 중 날짜, 숫자, 명명된 엔터티를 처리하기 위해 카피 메커니즘을 포함한다.
• 노드 및 토큰에 대해 문자 단위 CNN과 표준 단어 수준 임베딩을 사용하고, Adam으로 최적화하며 디코딩 시 빔 검색을 수행한다.

실험 결과

연구 질문

• RQ1 명시적 관계 인코딩을 갖춘 Graph Transformer가 그래프-투-시퀀스 작업에서 GNN보다 그래프의 글로벌 의존성을 더 효과적으로 포착할 수 있는가?
• RQ2 노드 쌍 간의 최단 경로 기반 관계를 모델링하는 것이 AMR-to-text 생성과 구문 기반 MT 성능을 향상시키는가?
• RQ3 그래프 크기, 직경, 재진입이 성능과 어텐션 동작에 어떤 영향을 미치는가?
• RQ4 앙상블 없이도 이 모델이 AMR-to-text 및 syntax-based MT에서 최첨단 신경 방법보다 우수한 성능을 보이는가?
• RQ5 디코더 초기화를 위해 글로벌 그래프 표현만으로 충분히 효과적인 시퀀스 생성을 달성할 수 있는가?

주요 결과

모델	유형	BLEU (LDC2015E86)	chrF++ (LDC2015E86)	Meteor (LDC2015E86)	BLEU (LDC2017T10)	chrF++ (LDC2017T10)	Meteor (LDC2017T10)
Ours	Single	27.4	56.4	32.9	29.8	59.4	35.1
Baseline/Previous (AMR-LDC2015E86)	-	22.4	-	-	-	-	-
Baseline/Previous (AMR-LDC2017T10)	-	23.0	-	-	-	-	-

• AMR-to-text 생성에서 새로운 최첨단 BLEU 점수를 달성: 27.4 BLEU (LDC2015E86) 및 29.8 BLEU (LDC2017T10).
• AMR-to-text에서 이전의 신경망 및 GNN 기반 방법보다 최대 2.2 BLEU 포인트 앞서며 일부 경우 비신경 기초 방법을 능가한다.
• 구문 기반 MT에서 단일 모델 결과로 21.3 BLEU (EN→DE) 및 14.1 BLEU (EN→CS)를 달성하여 이전의 단일 모델 및 앙상블 결과를 능가한다.
• chrF++ 및 Meteor 지표도 AMR-to-text 및 MT 작업에서 이전 방법들에 비해 개선을 보인다.
• 어텐션 분석은 다수의 헤드가 긴 거리의 주의를 하며, 깊은 층에서 장거리 어텐션이 증가함에 따라 크고 복잡한 그래프에서도 견고한 성능에 기여함을 시사한다.