[논문 리뷰] Adaptive Coordination in Social Embodied Rearrangement

Andrew Szot, Unnat Jain외 4명|arXiv (Cornell University)|2023. 05. 31.

Social Robot Interaction and HRI인용 수 5

한 줄 요약

이 논문은 두 로봇이 에고센터릭 관찰만을 사용하여 장기적인 시나리오에서 일상적인 작업을 협동적으로 수행하는 사진처럼 사실적인 3D 환경에서의 다중 에이전트 작업인 Social Rearrangement를 소개한다. 새로운 파art너와의 제로샷 조율을 가능하게 하기 위해, 저자들은 공유된 정책 아키텍처와 분별성 목적함수를 사용하여 인구 집단 내 행동 다양성을 강제하는 Behavior Diversity Play(BDP)를 제안한다. 이로 인해 기존의 기준 대비 35% 높은 성공률과 32% 높은 효율성을 달성한다.

ABSTRACT

We present the task of "Social Rearrangement", consisting of cooperative everyday tasks like setting up the dinner table, tidying a house or unpacking groceries in a simulated multi-agent environment. In Social Rearrangement, two robots coordinate to complete a long-horizon task, using onboard sensing and egocentric observations, and no privileged information about the environment. We study zero-shot coordination (ZSC) in this task, where an agent collaborates with a new partner, emulating a scenario where a robot collaborates with a new human partner. Prior ZSC approaches struggle to generalize in our complex and visually rich setting, and on further analysis, we find that they fail to generate diverse coordination behaviors at training time. To counter this, we propose Behavior Diversity Play (BDP), a novel ZSC approach that encourages diversity through a discriminability objective. Our results demonstrate that BDP learns adaptive agents that can tackle visual coordination, and zero-shot generalize to new partners in unseen environments, achieving 35% higher success and 32% higher efficiency compared to baselines.

연구 동기 및 목표

• 비전적으로 rich하고 장기적인 시나리오에서의 다중 에이전트 작업에서, 특권 정보 없이도 예측할 수 없는 파트너와의 조율에 도전하는 것.
• 이전의 제로샷 조율 방법이 훈련 집단 내 행동 다양성이 부족하여 복잡한 환경에서 실패하는 문제를 해결하는 것.
• 공유된 시각 인코더와 행동 잠재 공간을 사용하여 적응형 에이전트를 훈련하는 확장 가능하고 샘플 효율적인 프레임워크를 개발하는 것.
• 실제 인간-로봇 협업 시나리오를 모델링하는 현실적이고 고해상도 시뮬레이션 환경에서 방법을 평가하는 것.
• 분별성 목적함수를 통해 행동 다양성을 강제하면, 예측할 수 없는 파트너와 환경으로의 견고한 일반화가 가능하다는 것을 입증하는 것.

제안 방법

• 공유된 정책 아키텍처와 분별성 목적함수를 사용하여 다양한 행동을 갖는 에이전트 집단을 훈련하는 제로샷 조율 프레임워크인 Behavior Diversity Play(BDP)를 제안한다.
• 행동 집단 내 행동을 구분하는 디스criminator 네트워크를 사용하여, 테이블을 정리하는 작업처럼 서로 다른 물체를 향해 움직이는 등 구분 가능한 행동을 장려한다.
• 랜덤 정책 초기화가 아닌 행동 잠재 공간을 사용하여 집단을 파arameterize함으로써, 효율적인 탐색과 훈련을 가능하게 한다.
• 특권 상태나 동작 정보에 접근할 수 없음에도 불구하고, 에고센터릭 시각에서 관찰된 다양한 파트너 행동에 적응할 수 있는 조율 에이전트를 훈련한다.
• 모든 에이전트에 공유된 시각 인코더를 활용하여 샘플 효율성을 향상시키고, 복잡한 고차원 시각 입력에 대한 일반화를 가능하게 한다.
• AI Habitat와 ReplicaCAD 데이터셋을 사용한 시뮬레이션 환경에서 방법을 적용하였으며, 두 대의 Fetch 로봇이 테이블 정리, 집 정리, 식료품 풀기 등의 작업을 수행한다.

실험 결과

연구 질문

• RQ1 훈련 집단의 행동 다양성이 부족한 경우, 비전적으로 rich하고 장기적인 시나리오에서의 제로샷 조율 방법이 예측할 수 없는 파트너로 일반화될 수 있는가?
• RQ2 분별성 목적함수를 통해 행동 다양성을 강제하면, 복잡하고 부분 관찰 가능한 환경에서 제로샷 조율 성능이 향상되는가?
• RQ3 행동 잠재 공간을 갖는 공유된 정책 아키텍처는 랜덤 초기화에 비해 샘플 효율성과 일반화 측면에서 다중 에이전트 조율에서 어떻게 비교되는가?
• RQ4 BDP는 다양한 작업 유형과 예측할 수 없는 파트너 행동에 대해 기존의 제로샷 조율 기준 대비 성공률과 효율성에서 얼마나 뛰어나게 성능을 내는가?
• RQ5 실제 세계와 유사한 상황에서, 제어 에이전트는 스크립트된 파트너(예: 항상 부엌을 청소함)와 다양한 작업 특화 선호를 가진 학습된 파트너 모두에 대해 적응할 수 있는가?

주요 결과

• BDP는 Social Rearrangement 작업에서 제로샷 조율 성능을 기존 최고 수준의 기준 대비 35% 높은 성공률과 32% 높은 효율성으로 달성한다.
• 제거 실험에서 디스criminator 목적함수를 제거하면, 훈련 집단의 성능이 높아도 제로샷 일반화가 떨어지는 것으로 나타나, 분별성 목적함수가 필수적임을 입증한다.
• 공유된 시각 인코더와 행동 잠재 공간을 사용한 BDP는 랜덤 정책 초기화나 별도의 네트워크를 사용한 변형보다 뛰어난 성능을 보이며, 가중치 공유와 구조적 다양성의 중요성을 입증한다.
• 집 정리(Tidy House)와 식료품 풀기(Prepare Groceries) 작업에서 BDP는 각각 66.71%와 75.85%의 제로샷 성공률을 기록하여, PBT(30.34%와 34.56%) 및 기타 기준보다 뚜렷이 뛰어나다.
• 스크립트된 파트너(예: 항상 부엌 청소)와 다양한 선호를 가진 학습된 파트너를 포함한 예측할 수 없는 파트너로의 일반화가 잘 되었으며, Tidy House 작업에서 예측할 수 없는 스크립트 파트너와 학습된 파트너의 성공률은 각각 46.90%와 74.14%였다.
• BDP를 통해 훈련된 집단은 다양한 행동을 보이며, 일부 에이전트는 bowel에 집중하고 다른 일부는 과일에 집중하는 등 행동 다양성이 뚜렷하다. 반면 PBT 기반 집단은 특정 물체에 강한 편향을 보이며 적응 가능성에 제한을 받는다.