[논문 리뷰] Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration

Xavier Puig, Tianmin Shu외 6명|arXiv (Cornell University)|2020. 10. 19.

Reinforcement Learning in Robotics참고 문헌 54인용 수 40

한 줄 요약

WAH는 인간과 유사한 에이전트를 관찰하여 목표를 추론한 후 새로운 환경에서 가정 task를 가능한 한 빨리 완수하기 위해 협력하는 두 단계 도전을 도입합니다. VirtualHome-Social에서 사회적 인식 및 인간-AI 협력을 평가합니다.

ABSTRACT

In this paper, we introduce Watch-And-Help (WAH), a challenge for testing social intelligence in agents. In WAH, an AI agent needs to help a human-like agent perform a complex household task efficiently. To succeed, the AI agent needs to i) understand the underlying goal of the task by watching a single demonstration of the human-like agent performing the same task (social perception), and ii) coordinate with the human-like agent to solve the task in an unseen environment as fast as possible (human-AI collaboration). For this challenge, we build VirtualHome-Social, a multi-agent household environment, and provide a benchmark including both planning and learning based baselines. We evaluate the performance of AI agents with the human-like agent as well as with real humans using objective metrics and subjective user ratings. Experimental results demonstrate that the proposed challenge and virtual environment enable a systematic evaluation on the important aspects of machine social intelligence at scale.

연구 동기 및 목표

• 관찰로부터 목표 추론(사회적 인식)과 보이지 않는 환경에서 효율적으로 돕는 협력 계획을 테스트하는 새로운 AI 도전을 Motivates 및 정의합니다.
• AI 에이전트, 내장된 인간 유사 에이전트, 실제 인간 간의 상호 작용을 가능하게 하는 다중 에이전트 setting으로 VirtualHome을 확장합니다.
• 목표 추론 모델 및 계획/DRL 기반의 벤치마크를 제공하여 대규모로 기계 사회 지능을 연구합니다.

제안 방법

• 두 단계의 Watch-And-Help 프레임워크를 제안합니다: Bob이 Alice가 작업을 수행하는 것을 관찰하여 그녀의 목표를 추론하는 Watch 단계; Bob이 동일한 목표를 다른 환경에서 효율적으로 달성하도록 Alice와 협력하는 Help 단계.
• Symbolic 및 시각적 관찰, 물체 상호 작용, Bob의 재계획에 반응할 수 있는 내장 인간 유사 에이전트가 있는 다중 에이전트 가정 환경인 VirtualHome-Social를 구축합니다.
• 목표를 도메인 predicate 집합의 수로 표현하는 프레드icates 세트를 포함한 가정 활동(예: 식탁 차리기, 냉장고 식재료, 요리, 설거지, 간식과 함께 읽기)의 집합으로 작업을 정의합니다.
• 표현 가능한 물체에 대해 Transformer+LSTM을 사용하여 predicate 수를 예측하는 목표 추론 모델을 구현합니다; 높은 수준의 하위 목표를 선택하고 저수준 정책/계획자가 행동을 실행하는 계층적 계획/학습 아키텍처를 사용합니다.
• HP(Hierarchical Planner with MCTS RP), Hybrid(RL+RP), HRL(Hierarchical RL), Random 등의 벤치마크 및 전체 목표 지식이 있는 Oracle 변형을 평가합니다.

실험 결과

연구 질문

• RQ1 실제 다중 에이전트 환경에서 AI가 단일 시연으로 인간의 목표를 추론할 수 있는가?
• RQ2 AI 에이전트가 보이지 않는 환경에서 인간 유사 에이전트와 계획 및 협력을 통해 작업 완료 시간을 최소화할 수 있는가?
• RQ3 가정 작업에서 효과적인 인간-AI 협력을 가능하게 하는 주요 요인은 무엇인가?
• RQ4 목표 추론 정확도가 다양한 작업 범주에서 협력 성능에 어떤 영향을 미치는가?

주요 결과

• 테스트-1에서 목표 추론 정밀도/재현율은 0.85/0.96을 달성; 전체 시연을 사용할 때 정밀도/재현율이 더 높아져 0.99/0.99에 도달합니다.
• 참 목표를 가진 HP 벤치마크는 Help 단계에서 Oracle이 아닌 벤치마크 중 최상의 성능을 달성하고 다른 벤치마크보다 높은 성공률과 속도 향상을 보입니다.
• 추정된 목표(RG)를 사용하면 Alice의 계획과 충돌하여 성능이 저하될 수 있어 동적 목표 조정의 필요성을 강조합니다.
• Test-2(다중 활동 과제)는 목표 예측 정확도(0.68/0.64)를 감소시키고 협력 성능을 저하시켜 다중 활동 시나리오로의 일반화 문제가 있음을 보여줍니다.
• Alice 단독으로 Help 단계에서 95.4%의 성공률을 달성하는 반면 HP 벤치마크는 0.21의 속도 상승과 함께 88.6%에 도달합니다; Test-2에서 목표 인식이 더 나쁘게 되어 성능이 떨어집니다.
• 인간 실험에서 AI 벤치마크는 실제 인간과 짝을 이뤘을 때 상대적 순위를 유지하고 사용자 평가가 객관적 지표와 일치합니다.