[논문 리뷰] LUMINOUS: Indoor Scene Generation for Embodied AI Challenges

Yizhou Zhao, Kaixiang Lin외 5명|arXiv (Cornell University)|2021. 11. 10.

Human Pose and Action Recognition참고 문헌 39인용 수 4

한 줄 요약

LUMINOUS는 제약 조건이 있는 확률적 장면 생성(CSSG)을 사용하여 임베디드 AI(EAI)를 위한 고품질이고 다양한 실내 장면을 스케일러블하게 생성하는 프레임워크이다. 이는 임베디드 에이전트의 대규모 훈련 및 평가를 가능하게 하며, 인간이 설계한 장면와 경쟁 가능한 성능을 달성한다. 또한 현재 최고 수준의 EAI 모델들이 제한된 실제 세계의 레이아웃에 과적합되고 있음을 드러내며, 더 넓은 일반화 평가 기준이 필요하다는 점을 강조한다.

ABSTRACT

Learning-based methods for training embodied agents typically require a large number of high-quality scenes that contain realistic layouts and support meaningful interactions. However, current simulators for Embodied AI (EAI) challenges only provide simulated indoor scenes with a limited number of layouts. This paper presents Luminous, the first research framework that employs state-of-the-art indoor scene synthesis algorithms to generate large-scale simulated scenes for Embodied AI challenges. Further, we automatically and quantitatively evaluate the quality of generated indoor scenes via their ability to support complex household tasks. Luminous incorporates a novel scene generation algorithm (Constrained Stochastic Scene Generation (CSSG)), which achieves competitive performance with human-designed scenes. Within Luminous, the EAI task executor, task instruction generation module, and video rendering toolkit can collectively generate a massive multimodal dataset of new scenes for the training and evaluation of Embodied AI agents. Extensive experimental results demonstrate the effectiveness of the data generated by Luminous, enabling the comprehensive assessment of embodied agents on generalization and robustness.

연구 동기 및 목표

• 기존 시뮬레이터에서 제한된 수의 수동 설계된 실내 장면으로 인해 EAI 연구에 발생하는 성능 저하 문제를 해결하기 위해.
• 인간의 일반적인 지식과 부합하는 자연스럽고 기능적이며 작업을 지원하는 실내 장면를 자동으로 스케일러블하게 생성하는 프레임워크를 개발하기 위해.
• 다양한 모odal 트래잭터리 데이터를 대규모로 활용하여 임베디드 에이전트의 일반화 및 견고성에 대한 종합적인 평가를 가능하게 하기 위해.
• 임베디드 AI 작업의 맥락에서 장면 품질을 정량적으로 측정할 수 있는 새로운 평가 지표인 '플래너 기반 작업 성공률'을 도입하기 위해.
• 현재 최고 수준의 EAI 모델들이 ALFRED와 같은 기존 벤치마크의 제한된 레이아웃에 과적합될 수 있음을 입증하기 위해.

제안 방법

• 도전 정의 형식(CDF)으로 정의된 작업별 공간 제약 조건을 만족하면서 다양한 기능적인 실내 장면를 생성하는 새로운 알고리즘인 제약 조건이 있는 확률적 장면 생성(CSSG)을 도입한다.
• 생성된 장면에서 EAI 작업을 완료하기 위한 저수준 동작 시퀀스를 자동으로 계획하는 작업 실행자(task executor)를 활용한다.
• 시각-언어 벤치마크를 가능하게 하기 위해 트래잭터리에 자연어 지시어를 주석 처리하는 작업 지시어 생성 모듈을 사용한다.
• 다중모달 에이전트 훈련 및 평가를 가능하게 하기 위해 에고세트릭 이미지 프레임을 생성하는 영상 렲팅 툴킷을 통합한다.
• 플래너 기반의 작업 성공률을 사용하여 생성된 장면의 품질을 자동으로 정량적으로 평가하는 메트릭을 활용한다.
• 최신 기계학습 기반 장면 합성 모델들과의 호환성을 지원하여, EAI를 위한 이들의 활용도를 확장한다.

실험 결과

연구 질문

• RQ1 학습된 장면 생성 프레임워크는 EAI 작업을 위해 인간이 설계한 장면만큼 자연스럽고 기능적인 실내 장면를 생성할 수 있는가?
• RQ2 현재 최고 수준의 EAI 모델들은 원래 훈련 분포를 초월한 새로운 레이아웃, 즉 랜덤화된 새로운 레이아웃에 얼마나 잘 일반화되는가?
• RQ3 시뮬레이션된 EAI 환경에서의 작업 성공률은 생성된 실내 장면의 품질을 평가하는 데 신뢰할 수 있고 자동화된 메트릭으로서 유용한가?
• RQ4 장면과 작업의 다양성이 증가할수록 임베디드 에이전트의 일반화 성능에 어떤 영향을 미치는가?
• RQ5 LUMINOUS와 같은 통합 프레임워크는 EAI에서 훈련 및 평가를 위한 다중모달 트래잭터리의 스케일러블하고 자동화된 생성을 가능하게 할 수 있는가?

주요 결과

• LUMINOUS는 '보이지 않는 + (U+寤)' 설정에서 16개의 새로운 실내 장면와 435개의 트래잭터리를 생성하였고, '보이는 + (S+)' 설정에서는 1405개의 트래잭터리를 생성하였다. 이는 ALFRED의 보이지 않는 세트보다 한 계단 이상 더 많은 양이다.
• MOCA, ET, HiTUT의 성공률은 ALFRED의 본래의 본문 및 보이지 않는 세트에서 평가할 때보다 LUMINOUS가 생성한 장면에서 크게 하락하였다. 이는 새로운 레이아웃에 대한 일반화 능력이 떨어짐을 시사한다.
• 모든 설정에서 HiTUT가 가장 높은 성공률를 기록하였고, 그 다음으로 ET, 그 다음으로 MOCA가 뒤이었다. 이는 다양한 벤치마크에서 일관된 상대적 성능을 보였다.
• S에서 U+로의 성능 하락(평균 성공률 18.6%에서 2.1%로 감소)은 ALFRED 원래 평가가 레이아웃 다양성이 제한되어 있어 진정한 일반화 테스트를 제공하지 못한다는 점을 드러낸다.
• 픽 테스크는 LUMINOUS가 물체를 수용기의 가장자리에 놓기 때문에 성공률가 높게 나타났고, U+에서 최대 42.9%까지 상승하였다. 이는 작업 난이도를 낮추고 픽업 가능성을 높였기 때문이다.
• 본 연구는 MOCA 및 HiTUT와 같은 최고 수준의 모델들이 AI2THOR의 특정 레이아웃에 과적합되어 있음을 입증하였으며, LUMINOUS의 무작위로 생성된 보이지 않는 레이아웃에서 성능이 크게 떨어졌다.