[论文解读] lamBERT: Language and Action Learning Using Multimodal BERT

Kazuki Miyazawa, Tatsuya Aoki+2 more|arXiv (Cornell University)|Apr 15, 2020

Topic Modeling参考文献 27被引用 11

一句话总结

该论文提出 lamBERT，一种基于多模态 BERT 的模型，通过扩展 BERT 以实现多模态表征，并结合强化学习，实现语言与动作的联合学习。与基线模型相比，该模型在多任务和迁移学习设置中实现了更高的累积奖励，证明了通过掩码语言建模进行预训练在具身智能体的具身语言理解中的有效性。

ABSTRACT

Recently, the bidirectional encoder representations from transformers (BERT) model has attracted much attention in the field of natural language processing, owing to its high performance in language understanding-related tasks. The BERT model learns language representation that can be adapted to various tasks via pre-training using a large corpus in an unsupervised manner. This study proposes the language and action learning using multimodal BERT (lamBERT) model that enables the learning of language and actions by 1) extending the BERT model to multimodal representation and 2) integrating it with reinforcement learning. To verify the proposed model, an experiment is conducted in a grid environment that requires language understanding for the agent to act properly. As a result, the lamBERT model obtained higher rewards in multitask settings and transfer settings when compared to other models, such as the convolutional neural network-based model and the lamBERT model without pre-training.

研究动机与目标

• 开发一种统一框架，用于在具身智能体中联合学习语言与动作，利用多模态表征。
• 解决机器人学习中人类语言指令模糊性和环境动态性带来的挑战。
• 通过在语言和视觉模态上进行预训练，实现可迁移且支持多任务的策略。
• 探究 BERT 风格的预训练是否能提升强化学习中具身语言理解的决策能力。
• 使机器人能够从自收集的经验中学习，而无需依赖大规模标注数据集。

提出的方法

• 通过拼接文本和视觉标记嵌入，将 BERT 架构扩展以处理多模态输入（语言和视觉网格状态）。
• 引入掩码语言建模任务作为辅助预训练目标，以学习语言与环境的联合表征。
• 将预训练的多模态 BERT 编码器用作强化学习设置中策略网络的特征提取器。
• 在网格世界环境中，使用稀疏密集奖励的强化学习方法，训练智能体遵循自然语言指令。
• 利用自注意力机制建模语言标记与环境中视觉元素之间的依赖关系。
• 利用注意力权重分析预训练如何影响决策和表征学习。

实验结果

研究问题

• RQ1 在语言条件导航任务中，对掩码语言和视觉输入进行预训练是否能提升零样本和少样本迁移性能？
• RQ2 多模态 BERT 预训练在强化学习设置中如何影响语言-环境联合表征的质量？
• RQ3 辅助的掩码预测任务是否能提升多任务和迁移学习场景下的样本效率与累积奖励？
• RQ4 预训练模型中的注意力机制在决策过程中，对相关语言和视觉线索的注意力程度在多大程度上具有意义？
• RQ5 统一架构能否有效通过自监督预训练和强化学习联合学习语言理解与动作策略？

主要发现

• 在多任务强化学习设置中，lamBERT 模型获得的累积奖励显著高于基于 CNN 的基线模型。
• lamBERT 在无预训练的变体中表现更优，证明了自监督掩码预测预训练的优势。
• 该模型在迁移学习场景中表现出更优性能，表明预训练表征具有跨任务泛化能力。
• 注意力可视化显示，预训练模型关注了语义相关的语言标记和环境特征，表明概念具身化有效。
• 辅助掩码预测任务有助于更好的策略学习，表现为更高的奖励和更强的泛化能力。
• 将 BERT 风格的预训练与强化学习相结合，实现了对稀疏奖励和有限标注数据的有效学习。