[논문 리뷰] Towards continuous control of flippers for a multi-terrain robot using deep reinforcement learning

Giuseppe Paolo, Lei Tai외 1명|arXiv (Cornell University)|2017. 09. 25.

Reinforcement Learning in Robotics참고 문헌 17인용 수 6

한 줄 요약

이 논문은 계단의 승강을 위한 다중 지형 트랙크드 로봇의 플립퍼를 연속적이고 종단 간 제어하기 위해 딥 디터미니스틱 포licy 그레디언트(DDPG) 기반의 딥 강화학습(DRL) 컨트롤러를 제안한다. 부분 관측 가능성과 복잡한 동역학성의 과제에도 불구하고, 방법은 원시 카메라 입력에서 학습하지만, 시뮬레이션에서 국소 최소값과 비최적 정책으로 인해 어려움을 겪으며, 보다 향상된 리워드 형상화와 순환 네트워크의 필요성을 부각시킨다.

ABSTRACT

In this paper we focus on developing a control algorithm for multi-terrain tracked robots with flippers using a reinforcement learning (RL) approach. The work is based on the deep deterministic policy gradient (DDPG) algorithm, proven to be very successful in simple simulation environments. The algorithm works in an end-to-end fashion in order to control the continuous position of the flippers. This end-to-end approach makes it easy to apply the controller to a wide array of circumstances, but the huge flexibility comes to the cost of an increased difficulty of solution. The complexity of the task is enlarged even more by the fact that real multi-terrain robots move in partially observable environments. Notwithstanding these complications, being able to smoothly control a multi-terrain robot can produce huge benefits in impaired people daily lives or in search and rescue situations.

연구 동기 및 목표

• 딥 강화학습을 사용하여 다중 지형 트랙크드 로봇의 플립퍼에 대해 연속적이고 종단 간 제어 정책을 개발한다.
• 로봇이 원시 카메라 입력과 학습된 동작만을 사용하여 자율적으로 계단을 오를 수 있도록 한다.
• 실제 로봇 제어에서의 부분 관측 가능성 문제를 DRL을 통해 해결한다.
• DDPG가 물리적 로봇을 위한 복잡한 연속 제어 작업을 시뮬레이션하는 데의 타당성과 한계를 평가한다.
• 미래의 DRL 기반 로봇 제어 시스템을 위한 주요 실패 유형을 규명하고 개선 방안을 설계한다.

제안 방법

• 제어 정책은 연속 동작 DRL 방법인 딥 디터미니스틱 포lic리 그레디언트(DDPG) 알고리즘을 사용하여 학습된다.
• 에이전트는 연속된 네 개의 카메라 프레임을 관측하여 운동량과 속도를 추론함으로써, 명시적 메모리 없이도 시간적 맥락을 시뮬레이션한다.
• 행동 공간은 플립퍼 관절 각도에 대한 연속 제어 신호로 구성되어 있어 부드럽고 실시간 조정이 가능하다.
• 자체 설계된 리워드 함수는 인ert리얼 모션 유닛(IMU) 데이터로부터 유도된 플랫폼의 과도한 기울기, 비효율적인 플립퍼 자세, 정지된 진전을 방지하기 위해 처벌한다.
• 탐색 과정에서 실제 하드웨어에 손상을 줄 수 있으므로, 훈련은 완전히 시뮬레이션 환경에서 수행된다.
• 원시 시각 관측치를 연속 행동으로 매핑하기 위해 신경망을 사용하며, 수작업으로 설계된 특징이나 중간 표현이 포함되지 않는다.

실험 결과

연구 질문

• RQ1 DDPG는 계단의 승강과 같은 부분 관측 가능성과 복잡한 환경에서 플립퍼에 대해 안정적이고 연속적인 제어 정책을 학습할 수 있는가?
• RQ2 리워드 함수의 설계가 이 작업에서 DRL 에이전트의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 프레임 스택을 사용함으로써 피드포워드 네트워크의 순환 메모리 부족을 얼마나 효과적으로 보완할 수 있는가?
• RQ4 이 작업에서 DDPG 에이전트의 주요 실패 유형은 무엇이며, 네트워크 아키텍처와 리워드 형상화와 어떤 관련이 있는가?
• RQ5 LSTM과 같은 순환 신경망은 피드포워드 네트워크의 프레임 스택 대비 시간 동적 특성을 더 잘 모델링함으로써 정책 학습을 향상시킬 수 있는가?

주요 결과

• DDPG 에이전트는 시뮬레이션에서 계단을 오르는 것을 성공적으로 학습하여, 종단 간 DRL이 로봇 분야의 복잡한 연속 제어 작업에 적용될 수 있음을 보여준다.
• 손실과 Q-값 추세의 감소로 인한 학습 진전에도 불구하고, 에이전트는 종종 국소 최소값에 갇히며, 플립퍼가 -90°에 위치했을 때 비효율적이거나 실패한 주행을 유도한다.
• 2D 컨볼루션 네트워크 아키텍처가 3D 버전보다 우수한 성능을 보였으며, 이는 시간 모델링이 컨볼루션 브랜치를 통해 네트워크 초기 단계에서 더 효과적으로 처리될 수 있음을 시사한다.
• 네 개의 프레임을 스택하여 입력으로 사용하는 것은 운동 동역학을 효과적으로 포착하기에 부족하며, 시간 의존성을 직접 모델링하기 위해 LSTMs와 같은 순환 네트워크가 필요하다는 것을 시사한다.
• 리워드 함수는 위험하거나 정지된 행동을 방지하는 데 효과적이지만, 최적의 정책으로 유도하는 데에는 부족하여 개선 여지가 있음을 나타낸다.
• 이 연구는 현재의 프레임 스택을 사용하는 피드포워드 네트워크가 시간 순서 모델링에 부적합하며, 이를 순환 아키텍처로 대체할 경우 성능 향상이 크게 기대됨을 규명한다.