[논문 리뷰] VirtualHome: Simulating Household Activities via Programs

Xavier Puig, Kevin Ra외 5명|arXiv (Cornell University)|2018. 06. 19.

Multimodal Machine Learning Applications참고 문헌 27인용 수 16

한 줄 요약

이 논문은 프로그램—원자적 동작 및 상호작용의 기호적 순서—을 사용하여 합성 주방 활동 영상 생성이 가능한 3D 시뮬레이터인 VirtualHome를 소개한다. 게임화된 인터페이스를 통해 커뮤니티 기반으로 프로그램을 확보함으로써, 저자들은 자연어나 영상에서 프로그램을 추론할 수 있는 모델을 훈련시켰으며, 이는 높은 정확도와 실행 가능성으로 시뮬레이션 내에서 복잡한 작업을 수행하는 에이전트를 가능하게 한다. 인간 평가 및 풍부한 영상 주석을 통한 검증을 통해 검증되었다.

ABSTRACT

In this paper, we are interested in modeling complex activities that occur in a typical household. We propose to use programs, i.e., sequences of atomic actions and interactions, as a high level representation of complex tasks. Programs are interesting because they provide a non-ambiguous representation of a task, and allow agents to execute them. However, nowadays, there is no database providing this type of information. Towards this goal, we first crowd-source programs for a variety of activities that happen in people's homes, via a game-like interface used for teaching kids how to code. Using the collected dataset, we show how we can learn to extract programs directly from natural language descriptions or from videos. We then implement the most common atomic (inter)actions in the Unity3D game engine, and use our programs to "drive" an artificial agent to execute tasks in a simulated household environment. Our VirtualHome simulator allows us to create a large activity video dataset with rich ground-truth, enabling training and testing of video understanding models. We further showcase examples of our agent performing tasks in our VirtualHome based on language descriptions.

연구 동기 및 목표

• 로봇 공학을 위한 대규모 프로그램 기반 주방 활동 지식 기반 구축
• 고해상도 영상 데이터셋과 풍부한 지식 기반 주석을 제공하는 3D 시뮬레이터(VirtualHome) 개발
• 자연어 기술 설명과 영상 시연에서 자동으로 프로그램 생성 가능하게 하기
• 자동화된 메트릭과 인간 평가를 통한 프로그램 추론 품질 평가
• 시뮬레이션된 주방 환경에서 비전 및 로봇 에이전트의 훈련 및 테스트를 위한 확장 가능한 오픈소스 플랫폼 제공

제안 방법

• 자연어 지시어를 기호적 동작 순서로 변환하기 위해 스래치를 모티프로 한 인터페이스를 사용해 주방 활동에 대한 프로그램을 공동으로 확보한다.
• 유니티3D 게임 엔진에 물리, 내비게이션, 운동학 모델을 구현하여 일반적인 원자적 동작(예: 집기, 전원 켜기 등)을 실행 가능하게 한다.
• 환경, 물체 배치, 에이전트 위치, 카메라 시점 등을 무작위화하여 프로그램을 애니메이션화함으로써 합성 영상 데이터셋을 생성한다.
• 순서에서 순서로 학습 기반 신경 모델을 훈련하여 자연어를 기반으로 프로그램을 예측하고, 프로그램 유사도(LCS)와 실행 가능성 최적화를 위해 강화학습(RL)을 적용한다.
• 확률적 문법을 사용해 프로그램 생성을 초기화하고, 이중 보상(의미적 정확도를 위한 LCS 및 실행 가능성에 대한 시뮬레이터 피드백)을 사용해 강화학습을 통해 개선한다.
• 풍부한 감독 신호를 포함한 합성 영상 주석을 제공: 동작 타임스탬프, 2D/3D 자세, 클래스 및 인스턴스 세그멘테이션, 깊이, 옵티컬 플로우

실험 결과

연구 질문

• RQ1 원자적 동작의 기호적 순서인 프로그램은 에이전트가 명확하고 실행 가능한 방식으로 복잡한 주방 활동를 효과적으로 표현할 수 있는가?
• RQ2 자연어 기술 설명으로부터 신경 모델이 주방 활동의 프로그램을 얼마나 정확하게 추론할 수 있는가?
• RQ3 영상 시연을 기반으로 실행 가능한 프로그램을 생성할 수 있는 모델이 학습될 수 있는가?
• RQ4 자동으로 생성된 프로그램이 행동 순서와 물체 상호작용 측면에서 인간이 주석을 달은 참값과 어느 정도 일치하는가?
• RQ5 자동화된 메트릭(LCS, 실행 가능성 등)은 프로그램 품질과 작업의 타당성에 대한 인간 평가와 어느 정도 상관이 있는가?

주요 결과

• 이중 보상(LCS 및 실행 가능성)을 사용한 제안된 강화학습 모델은 자연어 기반 및 영상 기반 프로그램 생성 모두에서 모든 베이스라인을 능가하며, 더 높은 LCS 점수와 현저히 향상된 실행 가능성 확보.
• LCS와 시뮬레이터 보상 모두를 사용해 훈련한 모델은 VirtualHome 데이터셋에서 92.1%의 실행 가능성 비율을 기록했으며, LCS 전용 모델(85.3%)과 MLE 기반 베이스라인(78.9%)을 모두 초월.
• 인간 평가 결과 자동 메트릭과 인간 평가 간 강한 일치 확인: LCS 점수가 0.95 이상인 프로그램은 높은 인간 평가 점수를 획득하여 메트릭의 타당성 확인.
• 시뮬레이터를 통해 액티브한 주석이 달린 대규모 영상 데이터셋 제작이 가능해졌으며, 이는 동작 타임스탬프, 3D 자세, 세그멘테이션 마스크, 깊이, 옵티컬 플로우를 포함해 후속 비전 및 로봇 공학 작업을 지원.
• 비디오 예시를 통해 자연어 기술 설명에서 복잡한 작업(예: 침대 정리, 저녁 요리)을 수행하는 합리적인 에이전트 행동을 성공적으로 생성함.
• 모델이 미리 보지 않은 활동으로 일반화할 수 있는 능력은 프로그램 기반 표현 방식이 인간 시연에서 학습하는 데 있어 견고한 중간 언어로 기능할 수 있음을 시사한다.