Skip to main content
QUICK REVIEW

[논문 리뷰] BEHAVIOR-1K: A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation

Chengshu Li, Ruohan Zhang|arXiv (Cornell University)|2024. 03. 14.
Anomaly Detection Techniques and ApplicationsComputer Science인용 수 6
한 줄 요약

BEHAVIOR-1K은 50개의 시나리오와 9,000개 이상 객체를 바탕으로 한 1,000개의 일상 활동의 인간 중심 벤치마크로, 현실적인 물리 및 렌더링을 통해 장기 지향적 신체화 AI를 연구하기 위해 OmniGibson에 구현되어 있습니다. 본 논문은 baseline RL 방법과 시뮬레이션-현실 전이 격차를 분석합니다.

ABSTRACT

We present BEHAVIOR-1K, a comprehensive simulation benchmark for human-centered robotics. BEHAVIOR-1K includes two components, guided and motivated by the results of an extensive survey on "what do you want robots to do for you?". The first is the definition of 1,000 everyday activities, grounded in 50 scenes (houses, gardens, restaurants, offices, etc.) with more than 9,000 objects annotated with rich physical and semantic properties. The second is OMNIGIBSON, a novel simulation environment that supports these activities via realistic physics simulation and rendering of rigid bodies, deformable bodies, and liquids. Our experiments indicate that the activities in BEHAVIOR-1K are long-horizon and dependent on complex manipulation skills, both of which remain a challenge for even state-of-the-art robot learning solutions. To calibrate the simulation-to-reality gap of BEHAVIOR-1K, we provide an initial study on transferring solutions learned with a mobile manipulator in a simulated apartment to its real-world counterpart. We hope that BEHAVIOR-1K's human-grounded nature, diversity, and realism make it valuable for embodied AI and robot learning research. Project website: https://behavior.stanford.edu.

연구 동기 및 목표

  • 1,461명 참여자를 대상으로 인간의 필요에 기반한 활동을 확인하고 우선순위가 높은 일상 작업을 식별합니다.
  • 50개 장면과 9,000개 이상 주석이 달린 객체로 구성된 다양하고 생태학적으로 그럴듯한 1,000개 활동을 지원하는 데이터 세트를 만듭니다.
  • 강체, 변형 가능체, 유체 상호작용을 가능하게 하는 현실적인 시뮬레이션 환경인 OmniGibson을 개발합니다.
  • BEHAVIOR-1K에서 현재 RL 능력과 시뮬레이터-실제 전이 도전을 드러내는 기본 평가를 제공합니다.

제안 방법

  • 로봇에 위임하고 싶은 욕구에 따라 일상 활동을 순위 매기고 활동 정의를 추출하기 위한 인간 중심 설문을 수행합니다.
  • BDDL 로직을 사용하여 1,000개 활동, 50개 장면, 9,000개 이상 객체 모델의 풍부한 물리적 및 의미론적 주석을 포함한 BEHAVIOR-1K 데이터셋을 구성합니다.
  • 현실적인 작업 인스턴에 필요한 유체, 변형체, 직물, 연장된 객체 상태 및 전이 규칙을 시뮬레이션하기 위해 Nvidia Omniverse/PhysX 5에서 OmniGibson을 개발합니다.
  • 희박 보상하에서 시각운동 제어(RL-VMC) 및 동작 프리미티브들(RL-Prim, RL-Prim.Hist)을 포함한 최신 RL 기준선을 OmniGibson에서 평가합니다.
  • BEHAVIOR-1K 장면을 실제 Tiago 모바일 매니퓰레이터에 매핑하고 정책 성능 및 실패 모드를 비교하여 시뮬레이션-실제 전이를 분석합니다.
Figure 1: Developing a Human-Centered Benchmark for Embodied AI. Left: human preference score over 2,090 activities, ranked based on a survey on 1,461 participants. The distribution indicates the high diversity of needs and preferences of humans that should be reflected in a comprehensive benchmark.
Figure 1: Developing a Human-Centered Benchmark for Embodied AI. Left: human preference score over 2,090 activities, ranked based on a survey on 1,461 participants. The distribution indicates the high diversity of needs and preferences of humans that should be reflected in a comprehensive benchmark.

실험 결과

연구 질문

  • RQ1일반 대중에 따르면 로봇에 가장 바라는 일상 활동은 무엇이며, 인간의 욕구를 포괄하기 위해 장면/객체의 다양성은 얼마나 필요합니까?
  • RQ2현 시점의 임체 AI 방법은 현실적인 시뮬레이션에서 BEHAVIOR-1K 활동을 해결할 수 있으며 주요 병목은 무엇입니까?
  • RQ3OmniGibson에서 실제 모바일 매니퓰레이터로 정책을 전이할 때 BEHAVIOR-1K의 시뮬레이션-실제 차이는 무엇입니까?
  • RQ4장기 지향적이고 조작이 풍부한 작업에서 어떤 구성 요소(지각, 계획, 파지, 역학)가 성능을 가장 제한합니까?

주요 결과

  • BEHAVIOR-1K 활동은 장기 지향적이고 복잡한 조작을 요구하여 현재 AI 시스템에 도전이 됩니다.
  • 메모리 있는 액션 프리미티브(RL-Prim.Hist)가 엔드투엔드 시각운동 제어보다 더 높은 성공을 달성하며 특히 더 긴 작업에서 더 우수합니다.
  • 파지 및 정확한 물리 기반 수행은 중요하며, 학습 중 이를 단순화하면 평가 성능이 크게 달라집니다.
  • OmniGibson은 경쟁 시뮬레이터보다 더 높은 시각적 현실감을 달성하여 더 그럴듯한 센서 입력을 가능하게 하지만, 지각 및 작동 차이로 인한 시뮬레이션-실제 차이가 크게 생깁니다.
  • 실제 로봇 연구는 지각 및 네비게이션 차이가 주요 시뮬레이션-실제 차원의 원인임을 보여주며, 현실적인 시뮬레이션에도 불구하고 파지가 실제 세계에서 큰 어려움을 제시합니다.
  • 다양하고 인간 기반의 활동과 고충실도 시뮬레이션의 조합은 임체 AI 및 로봇 학습에서 상당한 발전 여지를 보여줍니다.
Figure 2: Elements of BEHAVIOR-1K. Our benchmark comprises two elements: BEHAVIOR-1K Dataset and OmniGibson . Left: BEHAVIOR-1K Dataset includes 1,000 BDDL activity definitions (top left), 50 realistic and diverse scenes (top right), and 9,000+ objects with properties annotated in the knowledge base
Figure 2: Elements of BEHAVIOR-1K. Our benchmark comprises two elements: BEHAVIOR-1K Dataset and OmniGibson . Left: BEHAVIOR-1K Dataset includes 1,000 BDDL activity definitions (top left), 50 realistic and diverse scenes (top right), and 9,000+ objects with properties annotated in the knowledge base

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.