[논문 리뷰] Modeling Graph Structure via Relative Position for Better Text Generation from Knowledge Graphs

|arXiv (Cornell University)|2020. 06. 16.

Topic Modeling참고 문헌 38인용 수 8

한 줄 요약

Graformer는 지식 그래프의 전반적인 구조적 패턴을 최단경로 거리로 노드 간 관계를 모델링함으로써 상대적 위치 인식 그래프 자기주도 어텐션을 사용하는 새로운 Transformer 기반의 인코더-디코더 모델이다. 이는 기존 방법보다 훨씬 적은 파라미터로 AGENDA 및 WebNLG 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

We present a novel encoder-decoder architecture for graph-to-text generation based on Transformer, called the Graformer. With our novel graph self-attention, every node in the input graph is taken into account for the encoding of every other node - not only direct neighbors, facilitating the detection of global patterns. For this, the relation between any two nodes is characterized by the length of the shortest path between them, including the special case when there is no such path. The Graformer learns to weigh these node-node relations differently for different attention heads, thus virtually learning differently connected views of the input graph. We evaluate the Graformer on two graph-to-text generation benchmarks, the AGENDA dataset and the WebNLG challenge dataset, where it achieves strong performance while using significantly less parameters than other approaches.

연구 동기 및 목표

• 기존 그래프 텍스트 생성 모델의 국소적 수신 필드 한계를 해결하기 위해 어텐션 메커니즘에서 전역적 구조 인식 능력을 향상시키는 것.
• 최단경로 거리로 노드 간 관계를 모델링하여 지식 그래프에서의 텍스트 생성 품질을 향상시키고, 연결되지 않은 노드까지 포함하는 것.
• 아키텍처 확장 없이 어텐션 헤드를 통해 여러 개의 서로 다른 연결 구조를 가진 그래프 뷰를 학습함으로써 모델 복잡도를 감소시키는 것.
• 기존 방법들과 비교해 더 효율적인 아키텍처를 통해 그래프 텍스트 벤치마크에서 경쟁 가능한 성능을 달성하는 것.

제안 방법

• Graformer는 각 노드의 표현을 고려할 때 입력 그래프의 모든 노드를 대상으로 하며, 직접적인 이웃 노드만을 고려하는 기존 방식과 다름.
• 노드 간 관계는 그들 사이의 최단경로 길이로 표현되며, 연결되지 않은 노드는 무한 거리로 간주된다.
• 어텐션 헤드는 이러한 경로 기반 관계에 대해 서로 다른 가중치를 학습함으로써 아키텍처 확장 없이도 여러 그래프 뷰를 효과적으로 학습한다.
• 표준 Transformer 인코더-디코더 프레임워크를 사용하지만, 표준 자기주도 어텐션을 제안된 그래프 자기주도 어텐션 메커니즘으로 대체한다.
• 상대적 위치 인코딩은 최단경로 거리에서 유도되며, 이로써 모델은 구조적 계층성과 연결 패턴을 포착할 수 있다.

실험 결과

연구 질문

• RQ1 최단경로 거리로 노드 간 관계를 모델링하는 것이 그래프 텍스트 생성에서 전역적 구조 인식 능력을 향상시키는가?
• RQ2 어텐션 헤드를 통해 여러 개의 서로 다른 가중치를 가진 그래프 뷰를 학습하는 것이 생성 품질을 향상시키는가?
• RQ3 더 효율적인 어텐션 메커니즘은 성능을 유지하거나 향상시키면서도 파라미터 수를 줄일 수 있는가?
• RQ4 기존 방법들과 비교해 Graformer는 표준 벤치마크에서 생성 품질과 파라미터 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• Graformer는 AGENDA 및 WebNLG 그래프 텍스트 생성 벤치마크에서 최고 성능을 달성한다.
• 기존 방법들보다 훨씬 적은 파라미터를 사용하면서도 자동 평가 지표에서 뛰어난 성능을 보인다.
• 최단경로 거리로 전역적 그래프 구조를 포착할 수 있는 능력 덕분에 생성된 텍스트의 사실적 일관성과 논리적 흐름이 향상된다.
• 경로 기반 상대적 위치 인코딩을 사용함으로써 구조적으로 관련 있는 노드 쌍에 대해 더 효과적으로 어텐션을 집중할 수 있다.