[论文解读] CHALET: Cornell House Agent Learning Environment

Claudia Yan, Dipendra Misra+4 more|arXiv (Cornell University)|Jan 23, 2018

Reinforcement Learning in Robotics参考文献 19被引用 71

一句话总结

CHALET 是一个基于 Unity 的 3D 房屋仿真器，支持导航与操控，用于在 58 个房间跨 10 座房的环境中训练代理在语言、视觉与规划方面的能力，具备可移动对象、容器与现实物理效果。

ABSTRACT

We present CHALET, a 3D house simulator with support for navigation and manipulation. CHALET includes 58 rooms and 10 house configuration, and allows to easily create new house and room layouts. CHALET supports a range of common household activities, including moving objects, toggling appliances, and placing objects inside closeable containers. The environment and actions available are designed to create a challenging domain to train and evaluate autonomous agents, including for tasks that combine language, vision, and planning in a dynamic environment.

研究动机与目标

• 为在导航与操控任务中训练自 autonomous 代理提供丰富的互动式房屋环境。
• 支持包括移动、打开/关闭容器、放置物品在内的多种对象交互。
• 在部分可观测、动态环境中促进语言对齐与指令执行。
• 实现多样化房屋布局与对象配置的可扩展生成，以实现稳健学习。

提出的方法

• 在 Unity 3D 中实现 CHALET，使用 C# 脚本实现跨平台部署（包括 WebGL）。
• 支持独立、仿真器和客户端模式，以实现多样化交互和 ML 集成。
• 以第一人称视角对连续代理动作进行建模，并提供离散精度选项。
• 包含 58 个房间、10 座房、150 种对象类型，以及 71 种可操控类型，以实现丰富的操控场景。
• 定义丰富的动作集（移动、侧移、注视、交互），以实现复杂的导航与对象交互。
• 通过带注释的演示和用于导航误差与操控准确性的指标进行评估。

实验结果

研究问题

• RQ1 一个、一个模拟的 3D 房屋环境如何支持复杂的语言驱动导航与操控任务？
• RQ2 二、在部分可观测、动态家庭环境中评估代理行为面临的挑战与要求是什么？
• RQ3 三、基于 Unity 的仿真器是否能够为稳健学习提供多样化布局与对象配置的可扩展生成？
• RQ4 四、代理在现实环境中学习遵循涉及容器与多步操控的指令的表现如何？

主要发现

• CHALET 提供了一个可导航、可操控的 3D 环境，涵盖 58 个房间、10 座房和 150 种对象类型。
• 广泛的可操控动作集使得打开/关闭容器和动态环境变化成为可能。
• 评估框架使用演示来计算导航误差和相对于参考操作的操控 F1 分数。
• 该环境支持多种操作模式和易于场景生成的能力，便于学习与众包。
• CHALET 通过空间关系与对象状态变化强调语言与规划挑战，需要探索与记忆。