[论文解读] Learning Generalizable Visual Representations via Interactive Gameplay

Luca Weihs, Aniruddha Kembhavi+8 more|arXiv (Cornell University)|Dec 17, 2019

Multimodal Machine Learning Applications参考文献 57被引用 12

一句话总结

该论文提出，在高保真交互环境（AI2-THOR）中采用具身对抗性强化学习，使人工智能智能体通过一种名为Cache的躲藏与寻找游戏变体，学习到可泛化的视觉表征。通过与物体互动并导航环境，智能体发展出编码了物体恒存性、自由空间和包含关系的动态图像表征——表明体验式、交互式学习比静态数据集更能促进更丰富的视觉理解。

ABSTRACT

A growing body of research suggests that embodied gameplay, prevalent not just in human cultures but across a variety of animal species including turtles and ravens, is critical in developing the neural flexibility for creative problem solving, decision making, and socialization. Comparatively little is known regarding the impact of embodied gameplay upon artificial agents. While recent work has produced agents proficient in abstract games, these environments are far removed from the real world and thus these agents can provide little insight into the advantages of embodied play. Hiding games, such as hide-and-seek, played universally, provide a rich ground for studying the impact of embodied gameplay on representation learning in the context of perspective taking, secret keeping, and false belief understanding. Here we are the first to show that embodied adversarial reinforcement learning agents playing Cache, a variant of hide-and-seek, in a high fidelity, interactive, environment, learn generalizable representations of their observations encoding information such as object permanence, free space, and containment. Moving closer to biologically motivated learning strategies, our agents' representations, enhanced by intentionality and memory, are developed through interaction and play. These results serve as a model for studying how facets of vision develop through interaction, provide an experimental framework for assessing what is learned by artificial agents, and demonstrates the value of moving from large, static, datasets towards experiential, interactive, representation learning.

研究动机与目标

• 探究具身的、交互式游戏如何促进人工智能智能体发展可泛化的视觉表征。
• 评估在高保真、交互式环境（如AI2-THOR）中训练的智能体是否比在静态数据集上训练的智能体获得更丰富的视觉理解。
• 评估循环网络生成的动态图像表征（DIRs）是否能捕捉整体环境理解，如物体恒存性和空间推理能力。
• 基于儿童发展研究设计探测任务，建立动态图像表征的基准。
• 证明从静态数据集转向体验式、交互式表征学习的价值。

提出的方法

• 智能体在逼真的3D环境（AI2-THOR）中使用对抗性强化学习进行训练，其中一名智能体隐藏物体，另一名智能体寻找该物体。
• 智能体使用深度神经网络，其中卷积神经网络（CNN）用于静态图像表征（SIRs），循环神经网络（RNN）用于整合时间观测的动态图像表征（DIRs）。
• 奖励塑形包括对失败动作的惩罚、对探索新位置或打开物体的奖励，以及对成功确认隐藏物体可见性的大幅正向奖励。
• 采用一套探测任务（受婴儿认知实验启发）来评估DIRs，测试其对遮挡、物体恒存性和空间序列化的理解能力。
• 环境支持多种交互，包括物体操作、导航、旋转以及三种模态下的物体放置（置于上方、置于内部、位于背后）。
• 动作空间包含14种离散动作，如MoveAhead、RotateLeft、OpenAt、PlaceAt和ClaimVisible，其成功条件由物理和视觉约束定义。

实验结果

研究问题

• RQ1 通过在高保真环境中进行交互式游戏训练的人工智能智能体，是否能学习到超越简单图像分类的可泛化视觉表征？
• RQ2 动态图像表征（DIRs）在多大程度上捕捉了整体环境理解，如物体恒存性和空间推理？
• RQ3 在丰富、交互式的环境中进行具身交互，与从静态、非交互式数据集学习相比，其表征质量如何？
• RQ4 基于早期人类认知发展的探测任务，能否有效评估人工智能智能体视觉理解的深度？
• RQ5 记忆与意图性在使智能体通过游戏学习表征方面发挥何种作用？

主要发现

• 在Cache环境中训练的智能体发展出的动态图像表征（DIRs）成功通过了测量物体恒存性、遮挡和空间序列化的探测任务，表明其具备深层的环境理解能力。
• 智能体通过认知风格探测任务的表现，证明其能够正确推断出即使不在视野中的隐藏物体的存在，展现了对物体恒存性的理解。
• DIRs在捕捉时间与空间关系方面优于SIRs，表明观测的时间整合通过循环网络能够实现更丰富的表征学习。
• 奖励塑形策略（包括对错误可见性声明的惩罚和对探索行为的奖励）显著提升了学习效率和表征质量。
• 受婴儿认知启发的探测任务表明，智能体学会了对自由空间和包含关系进行推理，其表现与儿童的发展里程碑相当。
• 本研究建立了一套新框架，通过交互式、体验式环境评估表征学习，超越了静态基准的局限。