[논문 리뷰] Deep-learning in Mobile Robotics - from Perception to Control Systems: A Survey on Why and Why not.

Lei Tai, Ming Liu|arXiv (Cornell University)|2016. 12. 21.

Reinforcement Learning in Robotics참고 문헌 105인용 수 62

한 줄 요약

이 종합 검토는 모바일 로봇 분야에서 딥 러닝의 응용을 다루며, 제어 정책 학습을 위한 딥 강화학습(DRL)과 모방 학습에 중점을 둡니다. DRL의 확장, 현실 간격 보완, 시뮬레이션 플랫폼, 그리고 모방 학습 방법을 분석하여 로봇 인지-제어 시스템 분야의 현재 접근 방식, 과제, 연구의 최전선을 종합적으로 개괄합니다.

ABSTRACT

Deep learning techniques have been widely applied, achieving state-of-the-art results in various fields of study. This survey focuses on deep learning solutions that target learning control policies for robotics applications. We carry out our discussions on the two main paradigms for learning control with deep networks: deep reinforcement learning and imitation learning. For deep reinforcement learning (DRL), we begin from traditional reinforcement learning algorithms, showing how they are extended to the deep context and effective mechanisms that could be added on top of the DRL algorithms. We then introduce representative works that utilize DRL to solve navigation and manipulation tasks in robotics. We continue our discussion on methods addressing the challenge of the reality gap for transferring DRL policies trained in simulation to real-world scenarios, and summarize robotics simulation platforms for conducting DRL research. For imitation leaning, we go through its three main categories, behavior cloning, inverse reinforcement learning and generative adversarial imitation learning, by introducing their formulations and their corresponding robotics applications. Finally, we discuss the open challenges and research frontiers.

연구 동기 및 목표

• 딥 러닝의 응용을 모바일 로봇 분야, 특히 제어 정책 학습에 대해 분석하는 것.
• 주요 두 가지 접근 방식인 딥 강화학습(DRL)과 모방 학습을 검토하는 것.
• 시뮬레이션 환경에서 학습한 DRL 정책을 실제 환경으로 이식할 때 발생하는 과제를 규명하는 것.
• 현재 DRL 및 모방 학습 방법의 효과성과 한계를 평가하는 것.
• 딥 러닝을 활용한 로봇 제어 분야에서의 열린 과제와 향후 연구 방향을 제시하는 것.

제안 방법

• 딥 신경망을 이용한 함수 근사 기법을 통해 전통적인 강화학습 알고리즘을 딥 강화학습(DRL)으로 확장하는 방식을 검토합니다.
• 학습 안정성과 성능 향상을 위해 경험 재현, 타겟 네트워크, 보상 형상화와 같은 핵심 DRL 구성 요소를 분석합니다.
• 현실 간격을 줄이기 위한 방법으로 도메인 랜덤라이제이션, 시뮬레이션에서 실세계로의 전이 기법, 시뮬레이션 간 적응 기법을 분석합니다.
• 행동 클로닝, 역강화학습, 생성적 적대적 모방 학습으로 나누어 모방 학습을 분류하고, 각각의 수식 및 로봇 응용 사례를 상세히 기술합니다.
• DRL 연구 및 정책 학습을 지원하는 로봇 시뮬레이션 플랫폼인 PyBullet, Isaac Gym, AirSim 등을 평가합니다.
• 실제 및 시뮬레이션 환경에서 이동 및 조작 작업에 DRL 및 모방 학습을 적용한 대표적 연구들을 종합하여 통찰을 도출합니다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기법은 모바일 로봇에서 종단 간 제어 정책 학습을 어떻게 가능하게 하나요?
• RQ2 로봇 제어 분야에서 딥 강화학습의 샘플 효율성과 안정성을 향상시키는 주요 메커니즘은 무엇인가요?
• RQ3 시뮬레이션에서 실세계로의 정책 전이 시 현실 간격의 주요 원인과 영향은 무엇인가요?
• RQ4 행동 클로닝, 역 RL, GAIL과 같은 다양한 모방 학습 접근 방식은 전문가의 시연에서 로봇 행동을 학습하는 데 어떻게 비교되나요?
• RQ5 실세계 로봇 시스템에 딥 러닝 기반 제어 정책을 구현할 때의 주요 열린 과제는 무엇인가요?

주요 결과

• 적절한 함수 근사 및 학습 기법을 결합할 경우, 딥 강화학습은 로봇 이동 및 조작 작업에서 최신 기술 성능을 달성하고 있습니다.
• 도메인 랜덤라이제이션 및 시뮬레이션 간 적응 기법과 같은 기법은 현실 간격을 크게 줄여 시뮬레이션에서 실세계로의 정책 전이를 향상시킵니다.
• GAIL과 같은 모방 학습 기법은 전문가의 시연에서 보상 함수를 학습함으로써 복잡한 작업에서 행동 클로닝보다 뛰어난 성능을 발휘합니다.
• PyBullet 및 Isaac Gym과 같은 시뮬레이션 플랫폼은 모바일 로봇을 위한 DRL 정책의 스케일링 및 효율적인 학습을 가능하게 합니다.
• 진전이 있었음에도 불구하고, 실세계 로봇 시스템에서 딥 러닝 정책의 샘플 효율성, 일반화 능력, 내구성 측면에서 여전히 과제가 남아 있습니다.
• 이 검토는 모바일 로봇 분야에서 더 일반화 가능하고, 해석 가능하며, 안전한 딥 러닝 기반 제어 정책의 필요성을 규명합니다.