[论文解读] BEHAVIOR: Benchmark for Everyday Household Activities in Virtual, Interactive, and Ecological Environments

Sanjana Srivastava, Chengshu Li+12 more|arXiv (Cornell University)|Aug 6, 2021

Reinforcement Learning in Robotics参考文献 57被引用 36

一句话总结

BEHAVIOR 提出一个在现实、多样、长时间家务活动中的 embodied AI 的 100 任务基准，具有谓词逻辑领域语言、与仿真器无关的要求，以及用于评估的人类 VR 演示。

ABSTRACT

We introduce BEHAVIOR, a benchmark for embodied AI with 100 activities in simulation, spanning a range of everyday household chores such as cleaning, maintenance, and food preparation. These activities are designed to be realistic, diverse, and complex, aiming to reproduce the challenges that agents must face in the real world. Building such a benchmark poses three fundamental difficulties for each activity: definition (it can differ by time, place, or person), instantiation in a simulator, and evaluation. BEHAVIOR addresses these with three innovations. First, we propose an object-centric, predicate logic-based description language for expressing an activity's initial and goal conditions, enabling generation of diverse instances for any activity. Second, we identify the simulator-agnostic features required by an underlying environment to support BEHAVIOR, and demonstrate its realization in one such simulator. Third, we introduce a set of metrics to measure task progress and efficiency, absolute and relative to human demonstrators. We include 500 human demonstrations in virtual reality (VR) to serve as the human ground truth. Our experiments demonstrate that even state of the art embodied AI solutions struggle with the level of realism, diversity, and complexity imposed by the activities in our benchmark. We make BEHAVIOR publicly available at behavior.stanford.edu to facilitate and calibrate the development of new embodied AI solutions.

研究动机与目标

• 定义一个以真实世界数据为基础、现实、多样且复杂的 100 项日常家务活动集合。
• 提供基于谓词逻辑的领域定义语言（BDDL），用于表达初始条件和目标条件，以实现无限的实例化。
• 辨识与仿真器无关的要求，并在 iGibson 2.0 中提供一个可运行的实例化。
• 建立稳健的评估指标，包括一个相对于人类的成功与效率框架。
• 提供一个基于 VR 的人类演示数据集（500 次演示）作为评估和模仿学习的真实参考。

提出的方法

• 引入 BEHAVIOR 域定义语言（BDDL），一种谓词逻辑表示，将仿真状态映射到初始和目标条件的语义谓词。
• 提出面向环境无关的现实仿真功能性需求，并在 iGibson 2.0 中用 1217 个对象模型分布在 391 个类别来实例化 BEHAVIOR。
• 将活动定义为 POMDP，并给出一个形式化的 tau = {S_tau,0, S_tau,g}，并通过 BDDL 提供采样无限有效初始状态和解的机制。
• 开发一组全面的评估指标，包括主要成功分数 Q 和六个次级效率指标，按使用 VR 演示数据集的人类表现进行归一化。
• 提供 500 个 VR 演示（758.5 分钟）作为人类基准真值，并支持模仿学习和人类基准的分析。

实验结果

研究问题

• RQ1 如何在具象 AI 基准中定义、实例化并评估现实、长时程的家务活动？
• RQ2 谓词逻辑域语言（BDDL）是否能够在跨场景实现无限、丰富多样的活动实例？
• RQ3 实现 BEHAVIOR 需要哪些仿真器要求，以及当前的具象 AI 方法在 BEHAVIOR 任务上的表现如何？
• RQ4 在人类 VR 演示与 AI 智能代理在真实度、多样性和复杂度指标方面的比较如何？

主要发现

• BEHAVIOR 产生了具有长时程、多对象和多样状态变化的 100 项活动，这对于最先进的 RL 方法具有挑战性。
• 一个包含 500 次演示的人类 VR 数据集为评估和模仿学习提供了丰富的真实基准。
• 强化学习代理在原始 BEHAVIOR 活动上很难达到任何目标谓词，即使使用了先进的感知和动作；缩短时程或简化物理条件可以提高表现。
• 跨场景、对象和初始状态的多样性与复杂性显著降低 RL 表现，突显了分层或基于规划的方法的必要性。