[논문 리뷰] Are We Making Real Progress in Simulated Environments? Measuring the Sim2Real Gap in Embodied Visual Navigation

Abhishek Kadian, Joanne Truong외 7명|arXiv (Cornell University)|2019. 12. 13.

Reinforcement Learning in Robotics참고 문헌 10인용 수 39

한 줄 요약

이 논문은 시뮬레이션 및 실제 로봇 에이전트 간에 동일한 코드를 실행할 수 있도록 해주는 Habitat-PyRobot Bridge (HaPy)를 소개하며, 몸체시각 탐색에서 sim2real 예측성 평가를 위한 새로운 지표인 Sim-vs-Real 상관계수(SRCC)를 제안한다. 기존의 sim2real 전이 능력은 낮으며, 벽을 슬라이딩하는 등 시뮬레이터 결함을 악용하기 때문에 약한 편이다 (SRCC = 0.18). 그러나 시뮬레이션 파라미터를 최적화하면 SRCC는 0.844로 향상되어 실제 세계로의 일반화가 신뢰할 수 있게 된다.

ABSTRACT

Does progress in simulation translate to progress in robotics? Specifically, if method A outperforms method B in simulation, how likely is the trend to hold in reality on a robot? We examine this question for embodied (PointGoal) navigation, developing engineering tools and a research paradigm for evaluating a simulator by its sim2real predictivity, revealing surprising findings about prior work. First, we develop Habitat-PyRobot Bridge (HaPy), a library for seamless execution of identical code on a simulated agent and a physical robot. Habitat-to-Locobot transfer with HaPy involves just one line change in config, essentially treating reality as just another simulator! Second, we investigate sim2real predictivity of Habitat-Sim for PointGoal navigation. We 3D-scan a physical lab space to create a virtualized replica, and run parallel tests of 9 different models in reality and simulation. We present a new metric called Sim-vs-Real Correlation Coefficient (SRCC) to quantify sim2real predictivity. Our analysis reveals several important findings. We find that SRCC for Habitat as used for the CVPR19 challenge is low (0.18 for the success metric), which suggests that performance improvements for this simulator-based challenge would not transfer well to a physical robot. We find that this gap is largely due to AI agents learning to 'cheat' by exploiting simulator imperfections: specifically, the way Habitat allows for 'sliding' along walls on collision. Essentially, the virtual robot is capable of cutting corners, leading to unrealistic shortcuts through non-navigable spaces. Naturally, such exploits do not work in the real world where the robot stops on contact with walls. Our experiments show that it is possible to optimize simulation parameters to enable robots trained in imperfect simulators to generalize learned skills to reality (e.g. improving $SRCC_{Succ}$ from 0.18 to 0.844).

연구 동기 및 목표

• 시뮬레이션에서의 성능 향상이 실제 로봇 기반 로봇 공학으로 얼마나 신뢰성 있게 전이되는지 평가하는 것, 특히 몸체시각 탐색 분야에서.
• 시뮬레이션 에이전트와 실제 로봇에서 동일한 코드를 실행할 수 있는 실용적인 엔지니어링 프레임워크를 개발하는 것.
• PointGoal 탐색 맥락에서 Sim-vs-Real 상관계수(SRCC)라는 새로운 지표를 사용해 sim2real 예측성을 정량화하는 것.
• 벽을 슬라이딩하는 등의 시뮬레이터 특유의 행동이 에이전트를 오도하고 실제 성능을 떨어뜨리는 방식을 식별하고 분석하는 것.
• 시뮬레이션 파라미터 조정을 통해 sim2real 전이 가능성의 향상이 상당히 이루어질 수 있음을 보여주는 것.

제안 방법

• 시뮬레이션과 실제 세계 실행 간 전환을 위한 일문자 설정 변경을 가능하게 하는 HaPy라는 라이브러리 개발. 물리적 로봇을 다른 시뮬레이터로 간주함.
• 실제 실험실 공간의 고정밀 3D 스캔을 제작하여, 시뮬레이션과 현실에서 병행 테스트를 위한 가상 복제본을 구축.
• 동일한 조건에서 시뮬레이션 환경과 실제 환경에서 9종의 다른 탐색 모델을 실행하여 직접 비교 가능하게 함.
• 모델의 순위가 시뮬레이션과 현실에서 얼마나 상관관계가 있는지 측정하기 위해 Sim-vs-Real 상관계수(SRCC)를 도입.
• 특히 충돌 반응 및 탐색 제약 조건과 같은 시뮬레이션 파라미터를 체계적으로 조정하여, 시뮬레이터 특유의 속임수 행동을 줄임.
• 파라미터 조정이 SRCC에 끼치는 영향을 평가하여 sim2real 예측성 향상 정도를 평가함.

실험 결과

연구 질문

• RQ1 몸체시각 탐색 에이전트의 시뮬레이션 성능 순위가 실제 세계 성능을 어느 정도 예측할 수 있는가?
• RQ2 어떤 특정한 시뮬레이터 아티팩트가 열악한 sim2real 전이를 유발하며, 그것이 에이전트를 어떻게 오도하는가?
• RQ3 Sim-vs-Real 상관계수(SRCC)가 sim2real 예측성 평가에 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ4 벽을 슬라이딩하는 등의 시뮬레이터 특유의 행동이 실제 로봇을 위한 시뮬레이션 기반 훈련의 신뢰성에 어떤 영향을 미치는가?
• RQ5 시뮬레이션 파라미터 조정을 통해 sim2real 전이 가능성의 향상이 상당히 이루어질 수 있으며, 만약 그렇다면 그 정도는 어느 정도인가?

주요 결과

• CVPR19 챌린지에서 사용된 표준 Habitat-Sim 설정의 Sim-vs-Real 상관계수(SRCC)는 성공 지표 기준으로 낮아 0.18로 나타나 sim2real 전이 가능성은 열악하다고 판단됨.
• 낮은 sim2real 전이의 주요 원인은 시뮬레이터의 불완전성, 특히 비이동 가능한 공간을 통해 불합리한 단축 경로를 취할 수 있는 '벽 슬라이딩' 기능을 악용하는 것임.
• 실제 세계에서는 이러한 벽 슬라이딩 행동은 불가능하므로, 이 악용 기능을 사용해 훈련된 에이전트들은 시뮬레이션 성능가 높지만 실제 세계에서는 실패함.
• 벽 슬라이딩을 비활성화하고 현실적인 충돌 행동을 강제하기 위해 시뮬레이션 파라미터를 조정함으로써, 성공 지표의 SRCC는 0.18에서 0.844로 향상되어 sim2real 예측성의 상당한 향상이 입증됨.
• 결과적으로 적절한 시뮬레이션 설정을 통해 시뮬레이션 훈련이 실제 세계 성능을 신뢰성 있게 예측할 수 있으며, 이는 sim2real 전이가 가능함을 보여줌.