[论文解读] Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision

Hao Tan, Mohit Bansal|arXiv (Cornell University)|Oct 14, 2020

Multimodal Machine Learning Applications参考文献 70被引用 8

一句话总结

本文提出了vokenization方法，通过在图像-标题数据集上训练的vokenizer，为语言标记生成上下文相关的视觉嵌入（vokens）。通过将这些vokens应用于大规模语言语料库，作者在GLUE、SQuAD和SWAG基准上提升了基于BERT的模型性能，证明即使在纯文本任务中，视觉定位也能增强通用语言理解能力。

ABSTRACT

Humans learn language by listening, speaking, writing, reading, and also, via interaction with the multimodal real world. Existing language pre-training frameworks show the effectiveness of text-only self-supervision while we explore the idea of a visually-supervised language model in this paper. We find that the main reason hindering this exploration is the large divergence in magnitude and distributions between the visually-grounded language datasets and pure-language corpora. Therefore, we develop a technique named "vokenization" that extrapolates multimodal alignments to language-only data by contextually mapping language tokens to their related images (which we call "vokens"). The "vokenizer" is trained on relatively small image captioning datasets and we then apply it to generate vokens for large language corpora. Trained with these contextually generated vokens, our visually-supervised language models show consistent improvements over self-supervised alternatives on multiple pure-language tasks such as GLUE, SQuAD, and SWAG. Code and pre-trained models publicly available at https://github.com/airsplay/vokenization

研究动机与目标

• 为解决现有语言预训练框架中缺乏视觉定位的问题，这些框架仅依赖于基于文本的自监督学习。
• 克服小规模视觉定位数据集与大规模语言语料库之间的数据分布差异。
• 通过为纯文本数据生成上下文相关的vokens，实现对通用NLP任务的视觉监督语言建模。
• 通过利用上下文中的视觉上下文，即使对于非视觉或抽象词汇，也能提升语言表征学习能力。

提出的方法

• 在小规模图像-标题数据集（如MS COCO、Visual Genome）上，使用上下文标记-图像匹配模型训练vokenizer。
• 使用训练好的vokenizer从大规模文本语料库（如英文维基百科）中的标记检索上下文相关的图像（vokens）。
• 将voken预测作为辅助目标集成到BERT类模型中，联合优化掩码语言建模和voken分类。
• 利用句子级别的上下文来消除标记歧义，即使对于抽象或非具体词汇（如'by'或'angry'）也能提升对齐效果。
• 将vokenization流程应用于生成CNN/Daily Mail和Wiki103等多样化NLP数据集的vokens，以支持迁移学习。
• 使用Jensen–Shannon散度量化视觉定位语料与通用语言语料之间的分布差异，从而证明vokenization的必要性。

实验结果

研究问题

• RQ1 能否从图像-标题数据中获得的视觉定位来提升纯文本NLP任务中的语言理解能力？
• RQ2 如何弥合小规模视觉定位数据集与大规模语言语料库之间的分布和量级差异？
• RQ3 上下文标记-图像匹配能否提升上下文中非视觉或抽象词汇的视觉定位效果？
• RQ4 将生成的vokens作为监督信号是否能在多种NLP基准上带来一致的性能提升？
• RQ5 vokens在不同语言模型架构（如RoBERTa）之间具有多大程度的迁移能力？

主要发现

• 所提出的vokenization方法在GLUE基准上相对于自监督BERT实现了稳定提升，各项任务的得分提升范围为0.8至2.1分。
• 在SQuAD上，视觉监督模型的F1得分比自监督基线高出1.2分，表明阅读理解能力得到增强。
• 在SWAG上，模型准确率提升了1.5分，表明通过视觉定位增强了常识推理能力。
• 可视化结果表明，vokenizer即使对抽象或功能词汇也能成功生成上下文相关的vokens。
• 迁移实验表明，vokens在RoBERTa上同样能提升性能，证实该方法在BERT之外的通用性。
• 英文维基百科中的定位比例仅为27.7%，但vokenization仍带来显著性能提升，表明上下文vokens能有效将视觉知识注入非定位文本中。