[논문 리뷰] Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight

Katie Kang, Suneel Belkhale외 3명|arXiv (Cornell University)|2019. 02. 11.

Reinforcement Learning in Robotics참고 문헌 37인용 수 11

한 줄 요약

이 논문은 시뮬레이션 데이터를 시각적 인식에, 실제 세계 데이터를 동적 제어에 사용하는 하이브리드 딥 강화학습 방법을 제안하여 나노 항공기에서 시각 기반 충돌 회피를 가능하게 한다. 시뮬레이션에서 작업에 특화된 시각 정책을 사전 훈련하고, 단 1시간의 실제 세계 데이터로 행동 조건화 보상 예측기의 미세조정을 통해, 복잡한 조명과 기하학적 환경에서의 새로운 환경으로의 강건한 일반화를 달성한다. 이는 이전 방법보다 비행 거리가 4배 길어지고, 도전적인 복도에서 일관된 성공을 가능하게 한다.

ABSTRACT

Deep reinforcement learning provides a promising approach for vision-based control of real-world robots. However, the generalization of such models depends critically on the quantity and variety of data available for training. This data can be difficult to obtain for some types of robotic systems, such as fragile, small-scale quadrotors. Simulated rendering and physics can provide for much larger datasets, but such data is inherently of lower quality: many of the phenomena that make the real-world autonomous flight problem challenging, such as complex physics and air currents, are modeled poorly or not at all, and the systematic differences between simulation and the real world are typically impossible to eliminate. In this work, we investigate how data from both simulation and the real world can be combined in a hybrid deep reinforcement learning algorithm. Our method uses real-world data to learn about the dynamics of the system, and simulated data to learn a generalizable perception system that can enable the robot to avoid collisions using only a monocular camera. We demonstrate our approach on a real-world nano aerial vehicle collision avoidance task, showing that with only an hour of real-world data, the quadrotor can avoid collisions in new environments with various lighting conditions and geometry. Code, instructions for building the aerial vehicles, and videos of the experiments can be found at github.com/gkahn13/GtS

연구 동기 및 목표

• 제한된 실제 세계 데이터를 가진 실제 세계의 나노 항공기용 시각 기반 제어 정책의 일반화 문제를 해결하기 위해.
• 특히 동역학과 시각적 현실성 측면에서 시뮬레이션과 현실 간의 도메인 갭을 극복하기 위해.
• 시뮬레이션에서의 인식 학습과 현실에서의 제어 정책 학습을 분리하여 실제 배포에서의 샘플 효율성과 강건성을 향상시키기 위해.
• 강화학습을 통해 시뮬레이션에서 학습한 작업에 특화된 시각 표현이 비지도 또는 지도 학습 사전 훈련보다 더 잘 전이되는지 조사하기 위해.

제안 방법

• 이 방법은 인식과 제어를 분리한다: 시각적 특징은 시뮬레이션에서 항법 및 충돌 회피를 위한 강화학습을 통해 사전 훈련된다.
• 시뮬레이션에서 훈련된 정책의 특징을 사용해 인식 네트워크를 초기화함으로써 새로운 환경으로의 일반화를 가능하게 한다.
• 실제 세계의 비행 데이터 1시간만을 사용하여 제어 정책을 훈련하고, 샘플 효율성을 향상시키기 위해 행동 조건화 보상 예측기를 사용한다.
• 실제 경험을 바탕으로 보상 예측기를 훈련시켜 시뮬레이션 정책을 실제 동역학에 적응시키며, 치명적인 과적합을 방지한다.
• 단일 카메라를 사용해 상태 추정 없이 엔드 투 엔드 시각 기반 제어를 수행한다.
• 전이 학습 루프에 실제 세계와 시뮬레이션 경험을 통합함으로써 능동적인 데이터 수집이 가능해진다.

실험 결과

연구 질문

• RQ1 주로 시뮬레이션 데이터로 훈련된 시각 기반 제어 정책이 다양한 조명과 기하학적 환경을 가진 실제 세계 환경으로 효과적으로 일반화될 수 있는가?
• RQ2 시각적 특징 학습 방법의 선택(예: 강화학습 대비 비지도 또는 지도 학습 사전 훈련)이 실제 비행으로의 전이 성능에 어떤 영향을 미치는가?
• RQ3 작은 양의 실제 세계 데이터(예: 1시간)를 사용해 시뮬레이션에서 사전 훈련된 정책을 효과적으로 미세조정할 수 있는가? 이때 치명적인 과적합을 피할 수 있는가?
• RQ4 인식(시뮬레이션)과 제어(실제 세계)를 분리하는 것이 전체 정책의 공동 미세조정보다 더 나은 일반화를 이끌어내는가?
• RQ5 행동 조건화 보상 예측기는 실제 세계의 미세조정에서 샘플 효율성과 안정성을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 직선 복도에서 80%의 성공률, 기울어진 카메라 조건에서 60%, 진주형 복도에서 80%의 성공률를 기록했으며, 이는 이전 방법이 완전히 실패한 이들 작업에서 뚜렷이 슈퍼리어한 성능을 보였다.
• 실제 세계 데이터 1시간만으로도 기준 방법 대비 비행 거리가 4배 길어졌으며, 이는 뛰어난 샘플 효율성을 보여준다.
• 시뮬레이션 전용 및 시뮬레이션 미세조정 기반의 베이스라인보다도 성능이 뛰어나, 일반화 능력 부족과 일관성 없는 성능 문제를 악용하지 않았다.
• 시뮬레이션에서 강화학습을 통해 학습한 작업에 특화된 시각 표현은 비지도(VAE) 또는 지도 학습(ImageNet 사전 훈련) 대비 훨씬 더 잘 전이되었다.
• 실패 사례는 종종 합리적이었으며(예: 유리 문에 충돌), 이는 모델이 의미 있는 불변성을 학습했고 추가적인 실제 세계 데이터로 향상될 수 있음을 시사한다.
• 행동 조건화 보상 예측기는 안정적이고 효율적인 실제 세계의 미세조정을 위해 필수적이었으며, 시뮬레이션에서 현실으로의 지식 전이를 효과적으로 가능하게 했다.