[论文解读] Analogical Reasoning for Visually Grounded Language Acquisition

Bo Wu, Haoyu Qin+3 more|arXiv (Cornell University)|Jul 22, 2020

Multimodal Machine Learning Applications参考文献 55被引用 5

一句话总结

本文提出了一种类比推理Transformer网络（ARTNet），一种多模态Transformer模型，通过模仿人类的类比推理来实现视觉引导的语言习得，从而泛化到新的动词-名词组合。通过检索相似的训练样本并应用学习到的算术运算来推断新组合，ARTNet在指令性视频理解中的组合泛化任务上取得了最先进性能，显著优于标准Transformer模型。

ABSTRACT

Children acquire language subconsciously by observing the surrounding world and listening to descriptions. They can discover the meaning of words even without explicit language knowledge, and generalize to novel compositions effortlessly. In this paper, we bring this ability to AI, by studying the task of Visually grounded Language Acquisition (VLA). We propose a multimodal transformer model augmented with a novel mechanism for analogical reasoning, which approximates novel compositions by learning semantic mapping and reasoning operations from previously seen compositions. Our proposed method, Analogical Reasoning Transformer Networks (ARTNet), is trained on raw multimedia data (video frames and transcripts), and after observing a set of compositions such as "washing apple" or "cutting carrot", it can generalize and recognize new compositions in new video frames, such as "washing carrot" or "cutting apple". To this end, ARTNet refers to relevant instances in the training data and uses their visual features and captions to establish analogies with the query image. Then it chooses the suitable verb and noun to create a new composition that describes the new image best. Extensive experiments on an instructional video dataset demonstrate that the proposed method achieves significantly better generalization capability and recognition accuracy compared to state-of-the-art transformer models.

研究动机与目标

• 解决在无显式语言监督下，视觉引导语言习得中的组合泛化挑战。
• 使人工智能模型在仅观察到相关组合的子集（例如，'washing apple'，'cutting carrot'）后，能够理解并生成新的动词-名词组合（例如，'washing carrot'）。
• 通过模拟人类类比推理过程，弥合已见与未见组合之间的范式差距。
• 开发一种自监督、推理增强的框架，在数据稀缺和非结构化环境中实现稳健的泛化。

提出的方法

• ARTNet使用多模态Transformer主干网络（类似于ViLBERT）将视觉和文本输入嵌入到共享语义空间中。
• 它引入了一个类比记忆模块（AMM），基于视觉和文本特征从训练样本中检索与查询图像类比的相关样本。
• 类比推理网络（ARN）从检索到的样本中选择相关的类比对，并学习算术运算（例如，'washing' + 'carrot' - 'apple'）以生成表示类比的上下文向量。
• 条件化组合引擎（CCE）将查询表示与类比上下文向量融合，以预测被掩码的动词和名词，从而完成包含新组合的句子。
• 模型通过掩码语言建模进行训练，其中句子中的动词和名词被掩码，模型必须使用类比推理来重建它们。
• 该框架是自监督的，无需专门的推理监督，而是依赖于从原始视频和字幕数据中学习到的类比模式。

实验结果

研究问题

• RQ1 视觉-语言模型是否能在未见过训练数据的情况下，泛化到新的动词-名词组合（例如，'washing carrot'）？
• RQ2 受人类认知启发的类比推理，在多模态语言习得中的组合泛化方面，能否有效提升性能？
• RQ3 在真实世界指令性视频数据上，所提出方法在识别未见组合方面是否显著优于标准Transformer模型？
• RQ4 该模型在未见环境中的数据稀缺和分布偏移情况下，表现有多稳健？

主要发现

• ARTNet在EPIC-Kitchens数据集上预测新组合的准确率显著高于最先进Transformer模型。
• 该模型展现出强大的泛化能力，仅通过观察'washing apple'和'cutting carrot'等相关训练样本，即可正确推断出'washing carrot'和'cutting apple'等组合。
• ARTNet在数据稀缺条件下表现出更强的鲁棒性，即使在训练数据有限时也能保持稳定性能。
• 该模型的预测结果展现出显著的可及性特征，表明其学习到了语义上合理且上下文恰当的组合。
• 消融实验确认，类比推理组件（AMM、ARN、CCE）对性能至关重要，移除任一组件均导致准确率显著下降。