[논문 리뷰] A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation

Lei Tai, Jingwei Zhang외 3명|arXiv (Cornell University)|2016. 12. 21.

Reinforcement Learning in Robotics참고 문헌 215인용 수 70

한 줄 요약

이 종합 검토는 로봇 공학 분야에서 딥 러닝 기반 제어 정책에 대해 심층 강화 학습(DRL)과 모방 학습(IL)에 초점을 맞춰 포괄적인 개요를 제공한다. 알고리즘적 발전, 샘플 효율성 향상 및 시뮬레이션에서 실제 환경으로의 전이 성능 향상을 위한 메커니즘, 그리고 주행 및 기구 제어 작업에 응용된 성능 평가를 다루며 핵심 과제와 향후 연구 방향을 강조한다.

ABSTRACT

Deep learning techniques have been widely applied, achieving state-of-the-art results in various fields of study. This survey focuses on deep learning solutions that target learning control policies for robotics applications. We carry out our discussions on the two main paradigms for learning control with deep networks: deep reinforcement learning and imitation learning. For deep reinforcement learning (DRL), we begin from traditional reinforcement learning algorithms, showing how they are extended to the deep context and effective mechanisms that could be added on top of the DRL algorithms. We then introduce representative works that utilize DRL to solve navigation and manipulation tasks in robotics. We continue our discussion on methods addressing the challenge of the reality gap for transferring DRL policies trained in simulation to real-world scenarios, and summarize robotics simulation platforms for conducting DRL research. For imitation leaning, we go through its three main categories, behavior cloning, inverse reinforcement learning and generative adversarial imitation learning, by introducing their formulations and their corresponding robotics applications. Finally, we discuss the open challenges and research frontiers.

연구 동기 및 목표

• 로봇 공학에서 제어 정책을 학습하기 위한 딥 러닝 솔루션을 체계적으로 검토하고, DRL 및 IL 패러다임에 집중한다.
• DRL 및 IL의 성능과 안정성을 향상시키는 핵심 알고리즘 확장 및 메커니즘을 식별하고 분석한다.
• DRL 정책을 시뮬레이션에서 실제 로봇 응용 분야로 전이하는 데 발생하는 과제를 검토한다.
• 전문가의 시연로부터 학습하는 데 효과적인 모방 학습 기법—행동 복제, 역강화 학습, GAIL—의 성능을 평가한다.
• 지속적인 학습, 메타학습, DRL과 IL의 통합 등 열린 과제와 새로운 연구 방향을 제시한다.

제안 방법

• 伝통적 강화 학습 기초와 이를 딥 네트워크 기반 함수 근사로 확장한 내용을 조사한다.
• 샘플 효율성과 탐색 성능에 중점을 두고, Deep Q-Networks(DQN), Proximal Policy Optimization(PPO), Trust Region Policy Optimization(TRPO) 등의 DRL 알고리즘을 분석한다.
• 보상 형상화, 내재적 호기심, 도메인 랜덤라이제이션과 같은 메커니즘을 도입하여 샘플 효율성 향상 및 시뮬레이션-실세계 일반화 성능 향상을 도모한다.
• 모방 학습 방법을 검토한다: 전이 학습 기반의 행동 복제(시범 데이터로부터의 지도형 정책 학습), 보상 함수 복원을 위한 역강화 학습, 그리고 적대적 정책 복제를 위한 생성 적대적 모방 학습(GAIL).
• DRL 연구 및 정책 전이를 위한 로봇 시뮬레이션 플랫폼인 MuJoCo, PyBullet, Isaac Gym을 평가한다.
• 전문가 시범과 온라인 환경 상호작용을 통합하여 샘플 효율성 향상 및 정책 성능 향상을 위한 통합 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 딥 강화 학습 알고리즘은 로봇 제어 작업에서 샘플 효율성과 정책 안정성을 어떻게 향상시키는가?
• RQ2 어떤 메커니즘이 시뮬레이션에서 학습된 DRL 정책을 실제 로봇 시스템으로 효과적으로 전이할 수 있도록 하는가?
• RQ3 행동 복제, 역강화 학습, GAIL 등의 다양한 모방 학습 접근 방식은 전문가의 시범 데이터로부터 어떻게 다른 방식으로 학습하는가?
• RQ4 실제 로봇 공학 응용 분야에 딥 러닝 기반 제어 정책을 구현할 때 발생하는 주요 과제는 무엇인가?
• RQ5 모방 학습과 강화 학습을 결합하면 더 효율적이고 견고한 정책 학습을 어떻게 달성할 수 있는가?

주요 결과

• 딥 Q-네트워크(DQN) 및 후속 DRL 알고리즘인 PPO와 TRPO는 원시 픽셀과 같은 고차원 감각 입력에서부터 엔드 투 엔드로 제어 정책을 학습하는 데 성공했다.
• 도메인 랜덤라이제이션과 도메인 혼동 손실 같은 기법은 현실 갭을 크게 감소시켜 주행 및 기구 제어 작업에서 시뮬레이션-실세계 전이 성능을 향상시켰다.
• 생성 적대적 모방 학습(GAIL)은 전문가와 전문가를 모방하는 궤적을 구분하는 판별기 학습을 통해 전문가 행동을 효과적으로 모방하는 데 강력한 성능을 보였다.
• 시뮬레이션에서 학습된 DRL 기반 정책은 모바일 로봇 주행 및 로봇 팔 기구 제어와 같은 실제 주행 및 기구 제어 작업에서 성공적으로 적용된 바가 있다.
• 샘플 효율성은 여전히 주요 한계로 남아 있으며, DRL는 수천에서 수백만 번의 환경 상호작용이 필요하고, 모방 학습은 고품질 전문가 시범 데이터에 크게 의존한다.
• DRL에서는 안정성과 내구성 문제로 인해 작은 초모수 변경에도 성능이 크게 변동하는 경우가 있어, 더 나은 해석 가능성과 불확실성 측정이 필요하다는 점이 부각된다.