[논문 리뷰] GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation

Anthony Colas, Mehrdad Alvandipour외 1명|arXiv (Cornell University)|2022. 04. 13.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 BART와 같은 사전 훈련된 모델을 지식 그래프에서 텍스트 생성으로 향상시키기 위해 이웃 마스킹 어텐션과 관계/엔티티 유형 인코딩을 통해 그래프 구조 인식 능력을 통합하는 그래프 인식 언어 모델 프레임워크 GAP을 제안한다. 추가적인 사전 훈련 작업 없이도 WebNLG와 EventNarrative에서 최신 기술 수준(SOTA) 성능을 달성하며, 비용이 많이 드는 보조 사전 훈련이 필요한 모델들을 능가한다. 또한 지식 그래프 기반 텍스트 생성에서 어텐션 동역학을 해석 가능한 방식으로 분석할 수 있도록 한다.

ABSTRACT

Recent improvements in KG-to-text generation are due to additional auxiliary pre-training tasks designed to give the fine-tune task a boost in performance. These tasks require extensive computational resources while only suggesting marginal improvements. Here, we demonstrate that by fusing graph-aware elements into existing pre-trained language models, we are able to outperform state-of-the-art models and close the gap imposed by additional pre-training tasks. We do so by proposing a mask structure to capture neighborhood information and a novel type encoder that adds a bias to the graph-attention weights depending on the connection type. Experiments on two KG-to-text benchmark datasets show our models are competitive while involving fewer parameters and no additional pre-training tasks. By formulating the problem as a framework, we can interchange the various proposed components and begin interpreting KG-to-text generative models based on the topological and type information found in a graph.

연구 동기 및 목표

• 기존 지식 그래프에서 텍스트 생성 모델이 광범위한 보조 사전 훈련 작업에 의존함으로써 효율성이 떨어지고 계산 비용이 높은 문제를 해결하기 위해.
• 사전 훈련된 언어 모델에 직접적으로 그래프 구조 정보를 통합하여 지식 그래프에서 텍스트 생성 성능을 향상시키기 위해.
• 어텐션 메커니즘을 통해 그래프 구조와 관계 유형이 텍스트 생성에 어떻게 영향을 주는지 해석 가능하고 모듈식으로 분석할 수 있도록 하기 위해.
• 대규모 사전 훈련이 필요한 모델보다 그래프 인식 모델링이 성능 면에서 뛰어나며 자원 소비를 줄일 수 있음을 입증하기 위해.
• 미래의 그래프 인식 텍스트 생성 연구를 위한 유연하고 오픈소스 프레임워크를 제공하기 위해.

제안 방법

• 인코딩 중 비접속 노드에 대한 어텐션을 마스킹함으로써 국소 그래프 구조를 포착하는 이웃 마스킹 어텐션 메커니즘을 도입한다.
• 관계 및 엔티티 유형 정보를 어텐션 가중치에 통합하는 새로운 유형 인코더를 제안하여 연결 유형에 따라 어텐션을 편향시킨다.
• 기존 사전 훈련된 언어 모델(예: BART)에 그래프 인식 구성 요소를 융합함으로써 맥락적 및 어휘적 강점을 유지하면서도 구조 인식 능력을 향상시킨다.
• 어텐션 마스킹과 유형 인코딩의 교환 가능한 구성 설정을 지원하여 체계적인 아블레이션 및 해석 가능성 연구를 가능하게 한다.
• 그래프를 선형화하고 개선된 언어 모델을 통해 처리함으로써 텍스트 생성을 위한 시퀀스 투 시퀀스 프레임워크를 사용한다.
• 이중 인코딩 전략을 사용한다: 먼저 사전 훈련된 언어 모델을 통해 엔티티와 관계를 인코딩하고, 이후 그래프 인식 어텐션으로 표현을 보완한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델에 그래프 인식 기능을 통합하면 추가적인 사전 훈련 작업 없이도 최신 기술 수준 모델을 능가할 수 있는가?
• RQ2 어텐션 가중치에 엔티티 및 관계 유형 정보를 통합하면 생성된 텍스트의 품질과 유창성에 어떤 영향을 미치는가?
• RQ3 이웃 마스킹은 모델이 국소 그래프 구조를 더 잘 포착하고 생성 성능을 향상시키는 데 기여하는가?
• RQ4 어텐션 시각화와 구조적 분석을 통해 지식 그래프에서 텍스트 생성 과정에 대한 해석 가능한 통찰을 어느 정도 제공할 수 있는가?
• RQ5 완전히 그래프 인식된 모델은 대규모 보조 사전 훈련에 의존하는 모델에 비해 경쟁력 있거나 더 뛰어난 성능을 달성하는가?

주요 결과

• GAP는 추가적인 사전 훈련 작업 없이도 WebNLG v2.0 및 EventNarrative 데이터셋에서 최신 기술 수준 성능을 달성한다.
• 완전한 마스킹과 유형 인코딩을 적용한 모델($M^{e,r}_{e,r}$)은 WebNLG에서 BLEU 점수 38.7을 기록하며, 비용이 많이 드는 사전 훈련에 의존하는 이전 SOTA 모델들을 능가한다.
• 인간 평가 결과, 유형 인코딩이 적용된 모델은 더 자연스럽고 간결한 출력을 생성하는 경향이 있으며, 예를 들어 'followed by' 대신 'sequel to'를 선호하는 경향이 있다.
• 어텐션 히트맵 분석 결과, 유형 인코딩이 적용된 모델은 불필요한 어텐션 패턴(예: 'Australians'에서 'country'로의 불필요한 어텐션)을 줄이는 경향을 보였다.
• 유형 인코딩이 적용되지 않은 모델는 구성 요소 간에 더 균일한 어텐션을 보이며, 일부 경우에서 더 간결하지 못한 출력과 관련이 있었다.
• 이 프레임워크는 어텐션 패턴의 해석 가능한 분석을 가능하게 하여, 구조적 및 유형 인식 모델링이 더 충실하고 자연스러운 텍스트 생성을 이끌어낸다는 것을 입증한다.