[논문 리뷰] Sim and Real: Better Together

Shirli Di Castro Shashua, Dotan Di Castro외 1명|arXiv (Cornell University)|2021. 10. 01.

Simulation Techniques and Applications인용 수 5

한 줄 요약

이 논문은 시뮬레이션과 실제 환경 데이터를 동시에 사용하여 에이전트를 동시에 훈련하는 새로운 강화학습 프레임워크를 제안한다. 각 환경에 대해 별도의 리PLAY 버퍼를 유지하고 데이터 수집 속도와 최적화 속도를 분리함으로써, 고속도의 시뮬레이션과 고정밀도의 실제 환경 피드백 간의 균형을 이루며, 시뮬레이션에서 실제 환경으로의 전이 성능을 향상시킨다. 이로 인해 샘플 효율성이 향상되고, 로봇 조작 작업에서 표준적인 시뮬레이션-실제 전이 기반 방법 대비 25% 향상된 성공률을 달성한다.

ABSTRACT

Simulation is used extensively in autonomous systems, particularly in robotic manipulation. By far, the most common approach is to train a controller in simulation, and then use it as an initial starting point for the real system. We demonstrate how to learn simultaneously from both simulation and interaction with the real environment. We propose an algorithm for balancing the large number of samples from the high throughput but less accurate simulation and the low-throughput, high-fidelity and costly samples from the real environment. We achieve that by maintaining a replay buffer for each environment the agent interacts with. We analyze such multi-environment interaction theoretically, and provide convergence properties, through a novel theoretical replay buffer analysis. We demonstrate the efficacy of our method on a sim-to-real environment.

연구 동기 및 목표

• 시뮬레이션-실제 전이에서의 현실 격차를 해소하기 위해 시뮬레이션과 실제 환경 데이터를 함께 훈련할 수 있도록 하는 것.
• 고속도의 시뮬레이션 데이터 수집과 저속도이지만 고정밀도인 실제 환경 데이터 수집 간의 불균형을 해결하는 것.
• 데이터 수집 속도와 최적화 속도를 분리하여 샘플 효율성 향상과 정책 수렴성 향상을 도모하는 방법을 개발하는 것.
• 다중 환경 리PLAY 버퍼 동역학에 대한 이론적 분석을 제공하며, 마르코프 성질과 유도된 확률 측도를 포함한다.
• 실제 마찰 계수의 차이가 존재하는 현실적인 조건에서 로봇 조작 작업에 대해 제안된 방법을 경험적으로 검증하는 것.

제안 방법

• 에이전트는 K개의 환경(예: 시뮬레이션 및 실제 환경)과 상호작용하며, 각 환경에 대해 별도의 리PLAY 버퍼에 전이 데이터를 저장한다.
• 샘플링 메커니즘은 각 리PLAY 버퍼에서 전이를 확률 βj로 선택하며, 이는 데이터 수집 속도 qi와 분리되어 있다.
• 이 방법은 오프-폴리시 알고리즘(선형 액터-크리틱 및 DDPG 변종)을 사용하여 혼합된 리PLAY 버퍼 샘플을 기반으로 정책을 최적화한다.
• 분포 이탈을 보정하기 위해 중요도 샘플링 원리를 적용한다.
• 별도의 리PLAY 버퍼는 최적화 중에 고량의 저품질 시뮬레이션 데이터로 인한 성능 저하를 방지한다.
• 이론적 분석을 통해 제안된 다중 환경 리PLAY 설정 하에서의 점근적 수렴성을 입증한다.

실험 결과

연구 질문

• RQ1 시뮬레이션과 실제 환경 데이터를 함께 학습함으로써 표준적인 시뮬레이션-실제 전이 방법에 비해 정책 성능을 향상시킬 수 있는가?
• RQ2 고속도의 시뮬레이션 데이터 수집과 저속도의 고정밀도 실제 환경 데이터 수집 간의 불균형을 훈련 도중 효과적으로 관리할 수 있는가?
• RQ3 별도의 리PLAY 버퍼를 사용하는 다수의 서로 다른 환경에서 훈련된 강화학습 에이전트의 이론적 수렴 행동은 어떠한가?
• RQ4 데이터 수집 속도와 최적화 속도를 분리함으로써 샘플 효율성과 정책 일반화 성능이 시뮬레이션-실제 환경 설정에서 향상되는가?
• RQ5 실제 환경 데이터는 시뮬레이션 정확도 부족, 예를 들어 잘못된 마찰 계수 설정 등에 대해 어느 정도 보정할 수 있는가?

주요 결과

• 제안된 방법은 동일한 훈련 조건에서 표준적인 시뮬레이션-실제 미세조정 기반 방법에 비해 실제 환경에서 25% 높은 성공률을 달성했다.
• 시뮬레이션과 실제 데이터에 대해 별도의 리PLAY 버퍼를 사용한 것이 공유 리PLAY 버퍼를 사용한 경우보다 유의미하게 뛰어난 성능을 보였으며, 이는 데이터 불균형과 성능 저하 문제를 악화시켰다.
• 이론적 분석을 통해 제안된 알고리즘이 다중 환경 리PLAY 설정 하에서 점근적 수렴성을 확보했으며, 유도된 확률 측도와 마르코프 성질을 명시적으로 기술했다.
• 이 방법은 시뮬레이션 정확도 부족에 대해 뛰어난 내성성을 보였으며, 특히 마찰 계수에 대해 2.0–2.2의 범위에서 잘못 설정된 경우 실환경 데이터가 이를 보정하여 실패를 방지했다.
• 데이터 수집 속도와 최적화 속도를 분리함으로써, 과도한 실제 환경 롤아웃이 필요 없이도 실제 환경 데이터를 효과적으로 활용할 수 있었다.
• 경험적 결과로는 시뮬레이션 데이터 수집 속도가 실제 환경보다 100배 빠를 경우에도, 최적화 과정에서 고정밀도 실제 데이터를 우선적으로 활용함으로써 실환경 성능이 뛰어나지 못한 것으로 나타났다.