[논문 리뷰] WikiGraphs: A Wikipedia Text - Knowledge Graph Paired Dataset

Luyu Wang, Yujia Li외 2명|arXiv (Cornell University)|2021. 07. 20.

Topic Modeling인용 수 4

한 줄 요약

WikiGraphs는 전체 위키백과 기사와 해당되는 프리베이스 지식 그래프를 짝지은 대규모 자동 구축 데이터셋을 제공하여 장문 텍스트 생성 및 그래프 표현 학습 분야의 연구를 가능하게 한다. 이 데이터셋은 평균 기사 길이가 3,534 토큰이고 그래프의 평균 노드 수가 38.7개, 간선 수가 48.3개인 23,522개의 그래프-텍스트 쌍을 포함하며, 개선된 그래프 조건부 조건이 텍스트 생성 및 검색 품질 향상에 기여하는 것으로 나타났지만 최신 모델들 사이에도 상당한 성능 격차가 존재한다.

ABSTRACT

We present a new dataset of Wikipedia articles each paired with a knowledge graph, to facilitate the research in conditional text generation, graph generation and graph representation learning. Existing graph-text paired datasets typically contain small graphs and short text (1 or few sentences), thus limiting the capabilities of the models that can be learned on the data. Our new dataset WikiGraphs is collected by pairing each Wikipedia article from the established WikiText-103 benchmark (Merity et al., 2016) with a subgraph from the Freebase knowledge graph (Bollacker et al., 2008). This makes it easy to benchmark against other state-of-the-art text generative models that are capable of generating long paragraphs of coherent text. Both the graphs and the text data are of significantly larger scale compared to prior graph-text paired datasets. We present baseline graph neural network and transformer model results on our dataset for 3 tasks: graph -> text generation, graph -> text retrieval and text -> graph retrieval. We show that better conditioning on the graph provides gains in generation and retrieval quality but there is still large room for improvement.

연구 동기 및 목표

• 장문 텍스트 생성 모델과 소규모 그래프-텍스트 쌍 데이터셋 간의 격차를 해소하기 위해 대규모, 확장 가능하며 자동으로 구축된 데이터셋을 만드는 것.
• 실제 장문 텍스트와 풍부한 지식 그래프에서 조건부 텍스트 생성, 그래프 생성, 그래프 표현 학습의 벤치마킹을 가능하게 하는 것.
• 공개된 자원을 제공하여 그래프-텍스트 생성, 텍스트-그래프 검색, 그래프 조건부 언어 모델링 분야의 연구를 지원하는 것.
• 이전의 수동으로 작성된 데이터셋의 한계를 극복하여, 그래프 및 텍스트의 복잡성이 제한된 작은 규모의 데이터셋으로 인해 모델 개발이 제약을 받는 문제를 해결하는 것.

제안 방법

• WikiText-103 벤치마크의 각 위키백과 기사가 프리베이스 지식 기반에서 관련 서브그래프와 자동으로 연결되도록 데이터셋을 구축한다.
• 엔티티 일치 및 의미적 유사도 기반으로 각 위키백과 기사에 대해 프리베이스에서 서브그래프를 자동으로 추출하는 파이프라인을 구현한다.
• 최종적으로 생성된 데이터셋은 23,522개의 쌍을 포함하며, 각 위키백과 기사의 평균 길이는 3,533.8 토큰이고, 각 지식 그래프의 평균 노드 수는 38.7개, 간선 수는 48.3개이다.
• 이 방법은 확장성을 지원하여 전체 위키백과 코퍼스에서 300만 개 이상의 그래프-텍스트 쌍 생성이 가능하다.
• 기준 모델은 Transformer-XL 아키텍처를 사용하여 다양한 인코딩 전략(백오브워즈, 노드 특징, 그래프 신경망(GNN) 표현)을 통해 지식 그래프에 조건부로 훈련된다.
• 모델 평가에서는 rBLEU를 주요 평가 지표로 사용하여 세 가지 과제를 수행한다: 그래프-텍스트 생성, 그래프-텍스트 검색, 텍스트-그래프 검색.

실험 결과

연구 질문

• RQ1 대규모 지식 그래프에 조건부로 설정된 언어 모델이 장문의 일관성 있고 관련성이 높은 텍스트를 생성할 수 있는가?
• RQ2 그래프 인코딩 방식의 선택(예: 백오브워즈, 노드 특징, GNN)이 생성된 텍스트 품질과 검색 성능에 어떤 영향을 미치는가?
• RQ3 구조화된 지식의 그래프 구조를 통합할 경우, 기존 방법에 비해 텍스트 생성 및 검색 성능이 얼마나 향상되는가?
• RQ4 길이 및 온도와 같은 샘플링 초모수 설정이 그래프 조건부 생성에서 생성된 텍스트 품질에 어떤 영향을 미치는가?
• RQ5 최신 모델들이 이 새로운 대규모 벤치마크에서 현재까지의 성능 한계는 어디에 있으며, 주요 격차는 어디에 남아 있는가?

주요 결과

• GNN 기반의 조건부 설정 방식이 제목 조건부 설정을 포함한 그래프-텍스트 생성 과제에서 검증 세트에서 rBLEU 점수 36.49를 기록하여 백오브워즈 및 노드 전용 기준 모델을 앞서며 최고의 성능을 보였다.
• 더 나은 그래프 조건부 설정이 그래프-텍스트 생성 성능을 크게 향상시켰으며, 조건부 설정이 없는 경우 rBLEU 9.53에서 제목 조건부 GNN의 경우 rBLEU 36.49로 상승하여 구조화된 지식에서 강력한 신호가 제공됨을 시사한다.
• 모든 모델에서 더 긴 샘플 길이(최대 4096 토큰)일수록 성능 저하가 발생하여 장기간의 문맥 일관성을 유지하는 것이 여전히 주요 과제로 남아 있음을 나타낸다.
• 온도 초모수는 생성 품질에 명확한 영향을 미쳤으며, 매우 낮거나 매우 높은 값보다 중간 범위(0.8–1.0)에서 더 우수한 결과를 도출하였다.
• 최고의 기준 모델과 인간 기준 텍스트 간의 성능 격차는 여전히 상당히 크며, 그래프 조건부 생성 모델의 향상 여지가 크다는 것을 시사한다.
• 자동 파이프라인은 82.3%의 위키백과-103 기사 커버리지로 확장 가능하고 고품질의 데이터셋을 성공적으로 생성하여 대규모 지식 그래프-텍스트 쌍화의 가능성을 입증하였다.