[논문 리뷰] Graph2Seq: Graph to Sequence Learning with Attention-based Neural Networks

Kun Xu, Lingfei Wu외 4명|arXiv (Cornell University)|2018. 04. 03.

Topic Modeling참고 문헌 53인용 수 162

한 줄 요약

Graph2Seq는 양방향 그래프 인코더와 어텐션 기반 디코더를 갖춘 엔드투엔드 그래프-투-시퀀스 모델을 제시하며, bAbI, Shortest Path, WikiSQL를 포함한 그래프 구조를 시퀀스 작업에서 최첨단 결과를 달성합니다. 인코더는 방향성 이웃 정보를 집계하고 어텐티브 RNN 디코더에서 사용하는 그래프 임베딩을 생성합니다.

ABSTRACT

The celebrated Sequence to Sequence learning (Seq2Seq) technique and its numerous variants achieve excellent performance on many tasks. However, many machine learning tasks have inputs naturally represented as graphs; existing Seq2Seq models face a significant challenge in achieving accurate conversion from graph form to the appropriate sequence. To address this challenge, we introduce a novel general end-to-end graph-to-sequence neural encoder-decoder model that maps an input graph to a sequence of vectors and uses an attention-based LSTM method to decode the target sequence from these vectors. Our method first generates the node and graph embeddings using an improved graph-based neural network with a novel aggregation strategy to incorporate edge direction information in the node embeddings. We further introduce an attention mechanism that aligns node embeddings and the decoding sequence to better cope with large graphs. Experimental results on bAbI, Shortest Path, and Natural Language Generation tasks demonstrate that our model achieves state-of-the-art performance and significantly outperforms existing graph neural networks, Seq2Seq, and Tree2Seq models; using the proposed bi-directional node embedding aggregation strategy, the model can converge rapidly to the optimal performance.

연구 동기 및 목표

• 그래프 입력을 시퀀스 출력으로 매핑하는 일반적인 엔드-투-엔드 그래프-투-시퀀스 모델을 개발한다.
• 에지 방향을 반영하는 표현력 있는 노드 및 그래프 임베딩을 학습한다.
• 출력 시퀀스와 그래프 표현을 맞추기 위한 어텐션 기반 디코딩을 가능하게 한다.

제안 방법

• 그래프 인코더는 포워드 및 백워드 이웃 정보를 K 홉까지 별도 집계기(평균, LSTM, 풀링)로 집계하여 양방향 노드 임베딩을 학습한다.
• 풀링 기반 및 노드 기반(슈퍼노드 포함) 두 가지 그래프 임베딩 방식이 노드 임베딩으로부터 그래프 수준 표현을 구성한다.
• 어텐션 기반 RNN 디코더는 노드 임베딩 위에서 계산된 컨텍스트 벡터를 사용해 대상 시퀀스를 생성한다.
• 정렬 모델 a(j)는 디코더 상태와 노드 임베딩 간 점수를 내어 디코딩용 어텐션 가중치를 산출한다.
• 학습은 입력 그래프를 고려한 올바른 설명의 조건부 로그 확률을 최대화하며, 추론 시 폭 5의 빔 서치를 사용한다.
• 모델은 확장성을 위해 대안 그래프 인코더 및 디코더(예: GCNs, Tree/Set 변형)와 호환된다.

실험 결과

연구 질문

• RQ1 일반적인 인코더-디코더 프레임워크가 다양한 작업에서 그래프 구조 입력을 시퀀스로 효과적으로 변환할 수 있는가?
• RQ2 에지 인식이 가능한 양방향 그래프 인코더가 특히 큰 그래프에서 그래프-투-시퀀스 성능을 향상시키는가?
• RQ3 노드 임베딩에 대한 어텐션이 그래프-투-시퀀스 작업의 디코딩 품질에 어떤 영향을 주는가?
• RQ4 다양한 그래프 임베딩 전략(풀링 대 노드 기반)이 다양한 그래프 구조에서 성능에 어떤 영향을 미치는가?
• RQ5 Graph2Seq를 SQL-영어 생성 같은 실제 그래프-투-시퀀스 작업에 적용하면 어떤 이득이 생기는가?

주요 결과

모델	BLEU-4
Seq2Seq	20.91
Seq2Seq + Copy	24.12
Tree2Seq	26.67
GCN-PGE	35.99
GGS-NN	35.53
Graph2Seq-NGE	34.28
Graph2Seq-PGE	38.97

• WikiSQL에서 Graph2Seq 변형은 Seq2Seq, Tree2Seq, Graph2Seq 기본값을 능가하며, Graph2Seq-PGE가 38.97 BLEU-4를 달성한다.
• 합성 및 SP 작업에서 Graph2Seq는 LSTM보다 정확도가 우수하고 큰 그래프에서 GGS-NN 및 GCN에 비해 경쟁력 있거나 우수한 성능을 보인다.
• 아블레이션 연구는 어텐션이 DAG, DCG, SEQ 그래프 전반에서 성능을 크게 향상시키는 것을 보여준다(>=14.9% 개선).
• 평균 집계기와 풀링 기반 그래프 임베딩은 일반적으로 강한 결과를 내고, 양방향 집계는 더 큰 그래프에서 단일 방향 변형보다 성능을 향상시킨다.
• 홉 수를 늘리면 모델 성능과 수렴이 개선되며, 양방향 집계가 최적 성능에 도달하는 데 필요한 홉 수가 더 적다.