[논문 리뷰] CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training

Qipeng Guo, Zhijing Jin외 4명|arXiv (Cornell University)|2020. 06. 08.

Topic Modeling참고 문헌 73인용 수 31

한 줄 요약

CycleGT는 비지도 사이클 학습 프레임워크에서 그래프-텍스트(G2T) 및 텍스트-그래프(T2G) 생성을 함께 학습하여 WebNLG에서 감독 모델과 경쟁력 있는 결과를 달성하고, GenWiki에서 병렬 데이터 없이 큰 이득을 얻는다.

ABSTRACT

Two important tasks at the intersection of knowledge graphs and natural language processing are graph-to-text (G2T) and text-to-graph (T2G) conversion. Due to the difficulty and high cost of data collection, the supervised data available in the two fields are usually on the magnitude of tens of thousands, for example, 18K in the WebNLG~2017 dataset after preprocessing, which is far fewer than the millions of data for other tasks such as machine translation. Consequently, deep learning models for G2T and T2G suffer largely from scarce training data. We present CycleGT, an unsupervised training method that can bootstrap from fully non-parallel graph and text data, and iteratively back translate between the two forms. Experiments on WebNLG datasets show that our unsupervised model trained on the same number of data achieves performance on par with several fully supervised models. Further experiments on the non-parallel GenWiki dataset verify that our method performs the best among unsupervised baselines. This validates our framework as an effective approach to overcome the data scarcity problem in the fields of G2T and T2G. Our code is available at https://github.com/QipengGuo/CycleGT.

연구 동기 및 목표

• 그래프-텍스트(G2T) 및 텍스트-그래프(T2G) 과제의 데이터 부족 문제를 해결하기 위해 비병렬 그래프와 텍스트 데이터를 이용한 비지도 학습을 가능하게 한다.
• G2T와 T2G가 역 매핑으로 작용하고 서로를 반복적으로 개선하는 사이클 학습 프레임워크를 개발한다.
• CycleGT가 WebNLG 2017/2020에서 감독 방법과 경쟁력 있는 결과를 달성하고 비지도 설정에서 GenWiki에서 우수한 성능을 보임을 입증한다.

제안 방법

• 선형화된 그래프를 텍스트로 매핑하는 T5 기반 시퀀스-투-시퀀스 모델로 G2T를 형식화한다.
• NER로 엔티티를 추출하고, 엔티티 임베딩을 도출하며, 다중 라벨 분류기를 통해 쌍 간 엣지 관계를 예측하도록 T2G를 형식화한다.
• 그래프와 텍스트 사이의 역번역을 통해 합성된 쌍 데이터를 생성하는 사이클 손실을 도입한다: L_CycT 및 L_CycG.
• 연속적인 역번역을 사용하여 G2T와 T2G를 번갈아 업데이트하면서 사이클 손실을 최소화하고, 비미분 가능 중간 출력도 처리한다.
• 비병렬 데이터 D_T(텍스트 코퍼스)와 D_G(그래프)를 사용하여 명시적 (t,g) 페어 없이 CycleGT를 학습한다.
• WebNLG 및 GenWiki 데이터셋에서 30에폭 학습하도록 G2T에 대해 T5를, T2G는 BiLSTM 기반으로 구현한다.

실험 결과

연구 질문

• RQ1 비지도 사이클 학습이 비병렬 데이터에서 고품질의 G2T 및 T2G 생성을 가능하게 하는가?
• RQ2 CycleGT가 감독 기준과 비교해 표준 G2T 및 T2G 벤치마크에서 어떤 성능을 보이는가?
• RQ3 WebNLG를 넘어 GenWiki와 같은 대규모 비병렬 데이터로 일반화될 수 있는가?
• RQ4 결정적인 중간 출력의 사이클 학습에서의 실용적 도전 과제는 무엇이며 어떻게 해결할 수 있는가?

주요 결과

• CycleGT는 WebNLG 2017의 G2T에서 비지도 설정으로 55.5 BLEU를 달성하여 일부 감독 기준과 경쟁한다.
• CycleGT의 WebNLG 2017에서 T2G 성능은 같은 아키텍처를 사용해 감독 데이터로 학습된 G2T 구성 요소와 동등하다.
• GenWiki에서 CycleGT는 비지도 기준을 크게 앞지른다(FINE 데이터에서 최고 비지도 기준 대비 약 +11 BLEU, FULL 데이터에서 +6 BLEU).
• CycleGT는 비지도 사이클 학습이 G2T 및 T2G의 데이터 부족 문제를 효과적으로 해결할 수 있음을 보여주며 비병렬 데이터로도 강력한 결과를 얻는다.