[论文解读] Linking Emergent and Natural Languages via Corpus Transfer

Shunyu Yao, Mo Yu+4 more|arXiv (Cornell University)|Mar 24, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出一种通过语料迁移实现涌现通信语言（EC）与自然语言（NL）之间桥梁构建的方法，利用在EC生成语料上预训练的语言模型，提升下游图像字幕生成性能。通过在MS-COCO数据集上使用EC衍生的语言表征进行微调，该方法实现了更快的适应速度，尤其在自然语言数据有限的情况下表现更优，即使在拥有丰富NL数据时也优于从零开始训练。

ABSTRACT

The study of language emergence aims to understand how human languages are shaped by perceptual grounding and communicative intent. Computational approaches to emergent communication (EC) predominantly consider referential games in limited domains and analyze the learned protocol within the game framework. As a result, it remains unclear how the emergent languages from these settings connect to natural languages or provide benefits in real-world language processing tasks, where statistical models trained on large text corpora dominate. In this work, we propose a novel way to establish such a link by corpus transfer, i.e. pretraining on a corpus of emergent language for downstream natural language tasks, which is in contrast to prior work that directly transfers speaker and listener parameters. Our approach showcases non-trivial transfer benefits for two different tasks -- language modeling and image captioning. For example, in a low-resource setup (modeling 2 million natural language tokens), pre-training on an emergent language corpus with just 2 million tokens reduces model perplexity by $24.6\%$ on average across ten natural languages. We also introduce a novel metric to predict the transferability of an emergent language by translating emergent messages to natural language captions grounded on the same images. We find that our translation-based metric highly correlates with the downstream performance on modeling natural languages (for instance $ρ=0.83$ on Hebrew), while topographic similarity, a popular metric in previous work, shows surprisingly low correlation ($ρ=0.003$), hinting that simple properties like attribute disentanglement from synthetic domains might not capture the full complexities of natural language. Our findings also indicate potential benefits of moving language emergence forward with natural language resources and models.

研究动机与目标

• 探究涌现通信（EC）语言是否可有效迁移以改善下游自然语言视觉任务的性能。
• 探索使用EC生成的语料作为视觉-语言任务中自然语言模型预训练数据的可行性。
• 评估在不同下游自然语言数据量下，基于EC的预训练对图像字幕生成性能的影响。
• 在低资源与高资源设置下，比较基于EC的预训练与从零开始训练及NL预训练的性能差异。

提出的方法

• 作者通过在图像输入下训练双智能体涌现通信游戏，并使用Gumbel-Softmax正则化的离散标记输出，生成合成的EC语料。
• 将EC生成的文本提取并预处理为适合语言模型的格式，将词汇表限制在4,035个词，并使用温度为1的软Gumbel-Softmax。
• 使用Hugging Face的run_clm.py脚本，结合最优超参数（预训练初始学习率5×10⁻⁴，批量大小32，每3,000步保存一次检查点，微调初始学习率10⁻⁴，批量大小8），在MS-COCO图像字幕数据上对预训练语言模型进行微调。
• 该方法在不同下游数据规模（5k、50k、完整MS-COCO）下，对比基于EC的预训练、从零开始训练以及在自然语言语料（es, ec, paren-zipf）上预训练的表现。
• 图像特征从VinVL的预处理检测特征中提取，字幕生成模型使用基于FAIRSEQ的代码库，并采用默认设置进行训练。
• 该方法通过在不同微调轮次和数据配置下的验证集CIDEr得分来评估性能。

实验结果

研究问题

• RQ1 涌现通信语言能否被有效迁移以提升下游自然语言视觉任务的性能？
• RQ2 在下游图像字幕生成性能方面，基于EC生成语料的预训练与基于自然语言语料的预训练相比如何？
• RQ3 当下游自然语言数据有限时，基于EC的预训练是否能提供性能优势？
• RQ4 随着下游训练数据量的增加，基于EC的预训练与从零开始训练之间的性能差距如何演变？

主要发现

• 在仅使用5,000个MS-COCO样本进行微调时，基于EC生成语料的预训练相比从零开始训练表现出更快的收敛速度和更优的性能。
• 当使用50,000个或更多下游样本时，基于EC的预训练与从零开始训练之间的性能差距随时间推移逐渐缩小，但EC预训练在早期阶段仍具优势。
• 尽管EC语料的词汇量较小（2,500词）且熵较低（3.7），但仍能实现有效的迁移学习，其性能优于熵更高的随机说话者EC变体（熵7.98）。
• 最优的预训练超参数包括学习率5×10⁻⁴、批量大小32，以及在3,000步时保存检查点；微调阶段最佳学习率为10⁻⁴，批量大小为8。
• 基于EC语料的预训练可加快模型适应速度，表明EC语言可作为视觉-语言模型的有效归纳偏置。
• 即使在下游NL数据充足的情况下，基于EC的预训练在早期训练阶段仍表现出可测量的优势，表明其在低资源或少样本场景中的价值。