[论文解读] CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training

Qipeng Guo, Zhijing Jin+4 more|arXiv (Cornell University)|Jun 8, 2020

Topic Modeling参考文献 73被引用 31

一句话总结

CycleGT 在无监督循环训练框架中联合学习图到文本（G2T）和文本到图（T2G）的生成，在 WebNLG 上与有监督模型相比具有竞争力，在 GenWiki 上在没有并行数据的情况下实现显著提升。

ABSTRACT

Two important tasks at the intersection of knowledge graphs and natural language processing are graph-to-text (G2T) and text-to-graph (T2G) conversion. Due to the difficulty and high cost of data collection, the supervised data available in the two fields are usually on the magnitude of tens of thousands, for example, 18K in the WebNLG~2017 dataset after preprocessing, which is far fewer than the millions of data for other tasks such as machine translation. Consequently, deep learning models for G2T and T2G suffer largely from scarce training data. We present CycleGT, an unsupervised training method that can bootstrap from fully non-parallel graph and text data, and iteratively back translate between the two forms. Experiments on WebNLG datasets show that our unsupervised model trained on the same number of data achieves performance on par with several fully supervised models. Further experiments on the non-parallel GenWiki dataset verify that our method performs the best among unsupervised baselines. This validates our framework as an effective approach to overcome the data scarcity problem in the fields of G2T and T2G. Our code is available at https://github.com/QipengGuo/CycleGT.

研究动机与目标

• 通过利用非并行的图和文本数据实现无监督学习，解决 G2T（图到文本）和 T2G（文本到图）任务中的数据稀缺问题。
• 开发一个循环训练框架，使 G2T 和 T2G 作为互为逆映射并迭代地相互提升。
• 证明 CycleGT 在 WebNLG 2017/2020 上与有监督方法相比具有竞争力，在无监督设置下在 GenWiki 上表现更优。

提出的方法

• 将 G2T 表述为基于 T5 的序列到序列模型，将线性化的图映射到文本。
• 将 T2G 表述为通过命名实体识别（NER）提取实体，推导实体嵌入，并通过多标签分类器预测成对边关系。
• 引入循环损失，在图和文本之间进行反向翻译，创建合成成对数据：L_CycT 和 L_CycG。
• 采用迭代式回译，交替更新 G2T 和 T2G 以最小化循环损失，同时处理不可微的中间输出。
• 使用非并行数据 D_T（文本语料）和 D_G（图）来训练 CycleGT，无需显式的 (t,g) 对。
• 使用 T5 实现 G2T，使用基于 BiLSTM 的 T2G，在 WebNLG 和 GenWiki 数据集上训练 30 个时期。

实验结果

研究问题

• RQ1 无监督循环训练是否能够从非并行数据中实现高质量的 G2T 与 T2G 生成？
• RQ2 在标准 G2T 和 T2G 基准上，CycleGT 的表现相对于有监督基线如何？
• RQ3 CycleGT 是否能推广到像 GenWiki 这样的大规模非并行数据，超出 WebNLG？
• RQ4 对于离散中间输出的循环训练有哪些实际挑战，如何解决？

主要发现

• CycleGT 在无监督设置下实现 WebNLG 2017 的 G2T 55.5 BLEU，与某些有监督基线相比具有竞争力。
• CycleGT 在 WebNLG 2017 上的 T2G 性能与使用相同架构、对 G2T 使用有监督数据训练的组件相当。
• 在 GenWiki 上，CycleGT 比无监督基线显著领先（在 FINE 数据上约高出最佳无监督基线 +11 BLEU，在 FULL 数据上 +6 BLEU）。
• CycleGT 证明无监督循环训练可以有效解决 G2T 和 T2G 的数据稀缺问题，在非并行数据下取得了强劲的结果。