[논문 리뷰] Robotic Arm Control and Task Training through Deep Reinforcement Learning

A Franceschetti, Elisa Tosello외 2명|arXiv (Cornell University)|2020. 05. 06.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 시뮬레이션과 실제 작업(예: 도달 및 집기)에서 로봇 팔 제어를 위한 딥 강화학습 알고리즘—특히 TRPO와 DQN-NAF—의 비교 평가를 제안한다. 실험 결과 TRPO는 더 뛰어난 안정성과 성능을 보이며, 최소한의 정밀 조정으로도 시뮬레이션에서 실제 하드웨어로의 정책 전이를 성공적으로 구현함을 입증한다.

ABSTRACT

This paper proposes a detailed and extensive comparison of the Trust Region Policy Optimization and DeepQ-Network with Normalized Advantage Functions with respect to other state of the art algorithms, namely Deep Deterministic Policy Gradient and Vanilla Policy Gradient. Comparisons demonstrate that the former have better performances then the latter when asking robotic arms to accomplish manipulation tasks such as reaching a random target pose and pick &placing an object. Both simulated and real-world experiments are provided. Simulation lets us show the procedures that we adopted to precisely estimate the algorithms hyper-parameters and to correctly design good policies. Real-world experiments let show that our polices, if correctly trained on simulation, can be transferred and executed in a real environment with almost no changes.

연구 동기 및 목표

• 10 DOF 로봇 팔의 조작 작업을 위한 TRPO, DQN-NAF, DDPG, VPG의 성능 평가 및 비교.
• 시뮬레이션에서 학습된 정책이 실제 로봇 하드웨어로의 전이 가능성과 내구성 조사.
• 고차원 로봇 시스템에서 연속 제어를 위한 효과적인 하이퍼파rameter 조정 절차 및 네트워크 아키텍처 규명.
• 지시나 작업 전용 도메인 지식 없이도 작업을 처음부터 학습하는 것의 가능성을 입증.
• 로봇 동역학 및 기하학적 변화(예: 링크 길이, 질량)에 대한 알고리즘 내구성 평가.

제안 방법

• TRPO, DQN-NAF, DDPG, VPG를 사용하여 물리 엔진을 갖춘 시뮬레이션된 10 DOF 공동 로봇 팔에서 정책 학습.
• 상태 공간, 행동 공간, 희박한 이진 보상으로 구성된 마르코프 결정 과정(MDP) 프레임워크를 사용해 제어 문제 모델링.
• 신뢰 영역 정책 최적화(TRPO)를 적용하여 KL 발산 제약 조건을 통해 정책 갱신의 범위를 제한.
• 연속 행동 공간에서 Q-값 추정을 안정화하기 위해 결정론적 정책 기반 기울기 방법을 사용한 딥 Q-네트워크와 정규화된 우선도 기반 기법(DQN-NAF) 구현.
• 실시간 통신을 위해 TCP 소켓과 ROSBridge를 사용해 시뮬레이션 환경과 실제 로봇 설정 간 통신 구현.
• 실시간 객체 자세 추정을 위해 마이크로소프트 킷슨 원을 사용한 AprilTags 통합으로 실제 환경에서 정확한 상태 관측 가능.

실험 결과

연구 질문

• RQ1 TRPO와 DQN-NAF가 DDPG 및 VPG에 비해 로봇 조작 작업에서 학습 안정성, 수렴 속도, 최종 성능 측면에서 어떻게 비교되는가?
• RQ2 최소한의 재조정으로 시뮬레이션에서 학습된 정책이 실제 로봇 하드웨어로 성공적으로 전이될 수 있는가?
• RQ3 연속 제어 작업에서 다양한 DRL 알고리즘의 최적 성능을 얻기 위한 하이퍼파rameter 조정 절차는 무엇인가?
• RQ4 보상 척도 민감도 및 매개변수 불변성과 같은 알고리즘적 특성이 동역학 모델 변화에 대한 정책 내구성에 미치는 영향은 무엇인가?
• RQ5 네트워크 아키텍처(깊이/너비)는 학습 성능에 어떤 역할을 하는가? 효과적인 정책 학습을 위한 최소 크기 요구 조건이 존재하는가?

주요 결과

• TRPO는 4980 에피소드 후에 324.97 ± 43.35의 최종 평균 수익을 기록하여 DDPG(257.02 ± 12.59) 및 VPG(187.11 ± 70.63)를 크게 앞서며 Pick&Place 작업에서 가장 높은 성능을 보였다.
• TRPO는 낮은 분산(324 ± 43)으로 안정적인 학습을 보였으며, VPG와 DDPG는 높은 수익 분산과 물체 이탈, 높은 접근 속도로 인한 자주 발생하는 집기 실패를 보였다.
• DQN-NAF 알고리즘은 Pick&Place 작업에서 최종 평균 수익 173.08 ± 9.38을 기록하여 도달 작업에선 뛰어난 성능를 보였지만, 집기 안정성은 열등했다.
• 실제 환경에서의 Pick&Place 작업은 TRPO 정책을 사용해 100% 성공률로 완료되었으며, 시뮬레이션에서 실제 환경으로의 전이가 효과적임을 확인했다.
• 랜덤 타겟 도달 작업 역시 100% 성공률로 완료되었고, 로봇은 실시간으로 움직이는 타겟을 성공적으로 추적했다.
• TRPO의 정책은 실린더를 집는 그립퍼 쪽으로 기울여 집기 노력과 이격 위험을 줄여 뛰어난 성능 향상에 기여했다.