[논문 리뷰] Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs

Leonardo F. R. Ribeiro, Yue Zhang외 2명|arXiv (Cornell University)|2020. 01. 29.

Topic Modeling참고 문헌 48인용 수 65

한 줄 요약

이 논문은 Graph Attention Networks를 사용해 전역 및 지역 노드 맥락을 결합한 통합 그래프-텍스트 모델을 제안하고, CGE-CGE-LW 변형으로 AGENDA와 WebNLG에서 BLEU의 최상위 성능을 달성했다.

ABSTRACT

Recent graph-to-text models generate text from graph-based data using either global or local aggregation to learn node representations. Global node encoding allows explicit communication between two distant nodes, thereby neglecting graph topology as all nodes are directly connected. In contrast, local node encoding considers the relations between neighbor nodes capturing the graph structure, but it can fail to capture long-range relations. In this work, we gather both encoding strategies, proposing novel neural models which encode an input graph combining both global and local node contexts, in order to learn better contextualized node embeddings. In our experiments, we demonstrate that our approaches lead to significant improvements on two graph-to-text datasets achieving BLEU scores of 18.01 on AGENDA dataset, and 63.69 on the WebNLG dataset for seen categories, outperforming state-of-the-art models by 3.7 and 3.1 points, respectively.

연구 동기 및 목표

• 그래프-투-텍스트 생성에서 전역 노드 인코딩과 지역 노드 인코딩의 한계를 조사한다.
• 전역 및 로컬 노드 맥 context를 결합하여 더 풍부한 노드 임베딩을 학습하는 통합 프레임워크를 제안한다.
• 연쇄적(Cascaded)와 병렬(Parallel) 통합 아키텍처를 비교하고 레이어별 통합을 탐구한다.
• 제안된 모델을 AGENDA 및 WebNLG KG-to-text 벤치마크에서 평가한다.
• 성능에 기여하는 핵심 구성요소를 식별하기 위한 제거 실험(ablations)을 분석한다.

제안 방법

• 각 KG를 토큰 수준 노드로 변환된 다중 관계 그래프로 표현한다.
• Graph Attention Networks(GAT)에 기반한 글로벌 인코더와 관계 가중치 및 GRU 기반 결합을 갖는 로컬 인코더를 구현한다.
• 네 가지 통합 아키텍처를 제안한다: Parallel Graph Encoding(PGE), Cascaded Graph Encoding(CGE), Layer-Wise PGE(PGE-LW), Layer-Wise CGE(CGE-LW).
• 인코더 출력과 이전에 생성된 토큰에 대해 다중-헤드 어텐션을 갖는 Transformer 유사 디코더를 사용하고, 다문장 출력에 대해 길이 패널티를 적용한다.
• 음의 로그 가능도, 레이블 스무딩, 그리고 Byte-Pair Encoding으로 학습한다; 노드와 타깃 토큰 간의 어휘를 공유하며, 개발 세트에서 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 전역 및 로컬 노드 맥락의 결합이 단독 사용보다 KG-에서 텍스트 생성 성능을 향상시키는가?
• RQ2 어떤 통합 아키텍처(PGE, CGE, PGE-LW, CGE-LW)가 데이터셋 전반에서 최상의 성능을 보이는가?
• RQ3 그래프 크기와 토폴로지가 모델 성능 및 글로벌 대 로컬 인코딩의 상대적 이점에 어떤 영향을 미치는가?
• RQ4 Levi 그래프 변환이 WebNLG 결과에 미치는 영향은 무엇인가?
• RQ5 제거된 구성요소들(글로벌/로컬 어텐션, GRU, 관계 가중치)이 성능에 어떤 영향을 미치는가?

주요 결과

• CGE-LW는 AGENDA에서 BLEU 18.01, WebNLG( seen categories)에서 63.69를 달성하여, 각각 기준선보다 BLEU 포인트 3.7 및 3.1 만큼 우수하다.
• 로컬 인코딩과 함께 글로벌 인코딩이 기준선보다 성능을 향상시키며, 전역 맥락이 불완전한 KG의 비연속 구성요소 간 학습에 도움을 준다.
• 계층별(LW) 통합 변형이 비-LW 구성보다 자주 우수한 성능을 보이며, 연쇄형 모델은 일반적으로 강력한 결과를 보여준다.
• Levi 그래프 변형은 WebNLG 결과를 향상시키며(63.69 BLEU, 44.47 METEOR, 76.66 CHRF++).
• 제거 실험은 글로벌 어텐션과 FFN이 성능에 상당한 기여를 한다는 것을 보여주며, 로컬 어텐션이나 로컬 인코더를 제거하면 BLEU가 현저히 감소한다.
• WebNLG에서 Levi-그래프 입력으로 성능이 향상되는 반면, AGENDA는 글로벌-그다음 로컬 처리의 계단식 방식에서 이점을 얻는다.