[논문 리뷰] Simultaneously Learning Vision and Feature-based Control Policies for Real-world Ball-in-a-Cup

Devin Schwab, Jost Tobias Springenberg외 8명|arXiv (Cornell University)|2019. 02. 13.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 실물 로봇에서 시각 기반 및 특징 기반 제어 정책을 동시에 훈련하기 위해 보조 작업을 사용하며, 작업에 특화된 상태 공간을 활용하여 학습을 가속화하는 다중 작업 강화 학습 방법을 제안한다. 정책 간 공유된 특징과 훈련 시간에만 이용 가능한 저비용 특징을 활용함으로써, 실물 하드웨어에서 28시간 정도의 끝내기 학습을 통해 볼 인 컵 작업을 처음부터 끝내며, 모방 학습이나 시뮬레이션 전이 없이 100% 캐치 성공률를 달성한다.

ABSTRACT

We present a method for fast training of vision based control policies on real robots. The key idea behind our method is to perform multi-task Reinforcement Learning with auxiliary tasks that differ not only in the reward to be optimized but also in the state-space in which they operate. In particular, we allow auxiliary task policies to utilize task features that are available only at training-time. This allows for fast learning of auxiliary policies, which subsequently generate good data for training the main, vision-based control policies. This method can be seen as an extension of the Scheduled Auxiliary Control (SAC-X) framework. We demonstrate the efficacy of our method by using both a simulated and real-world Ball-in-a-Cup game controlled by a robot arm. In simulation, our approach leads to significant learning speed-ups when compared to standard SAC-X. On the real robot we show that the task can be learned from-scratch, i.e., with no transfer from simulation and no imitation learning. Videos of our learned policies running on the real robot can be found at https://sites.google.com/view/rss-2019-sawyer-bic/.

연구 동기 및 목표

• 실세계 로봇에서 시각 기반 제어 정책의 빠르고 샘플 효율적인 훈련을 가능하게 하기 위해.
• 제한된 실세계 데이터 문제를 보완하기 위해 작업에 특화된 상태 공간을 갖는 보조 작업을 사용하기 위해.
• 모방 학습이나 시뮬레이션에서 실세계로의 전이 없이도 시각 기반 정책를 처음부터 학습하기 위해.
• 공유된 표현을 통해 특징 기반 정책가 시각 기반 정책 학습을 이끌 수 있음을 보여주기 위해.
• 실시간 추적 기술 없이도 원시 카메라 이미지와 자세 감지 정보만을 사용해 최종 정책를 배포 가능하게 하기 위해.

제안 방법

• 주 작업과 보조 작업에 서로 다른 상태 공간을 허용하기 위해, Scheduled Auxiliary Control (SAC-X) 프레임워크를 확장한다.
• 시각 기반 정책와 특징 기반 정책가 숨겨진 층을 공유하는 공통의 신경망 아키텍처를 사용하여 지식 전이를 가능하게 한다.
• 훈련 시간에만 이용 가능한 고차원 상태 공간(예: 물체의 위치)에서 작동하는 보조 작업을 도입한다.
• 보조 작업의 보상 구조를 조정하여 학습 속도를 가속화하고 데이터 효율성을 향상시킨다.
• 다양한 상태 표현 방식을 갖는 다수의 작업에서 학습을 안정화하기 위해 비대칭 액터-크리틱 훈련을 적용한다.
• 시각 및 특징 모odalities 간의 희박한 보상과 구조화된 보상을 통합하는 다중 작업 손실을 사용해 정책을 공동으로 훈련한다.

실험 결과

연구 질문

• RQ1 작업에 특화된 상태 공간을 갖는 보조 작업이 실물 로봇에서 시각 기반 제어 정책의 학습을 크게 가속화할 수 있는가?
• RQ2 특징 기반 정책를 사용한 훈련이 실세계 강화 학습에서 시각 기반 정책의 샘플 효율성과 최종 성능을 향상시키는가?
• RQ3 모방 학습이나 시뮬레이션에서 실세계로의 전이 없이도 실물 하드웨어에서 시각 기반 정책를 처음부터 학습할 수 있는가?
• RQ4 의도적으로 쓸모없는 보조 작업이 포함될 경우 학습의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 시각 기반 정책와 특징 기반 정책 간의 공유된 표현이 데이터 효율성과 정책 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 실물 로봇에서 300개의 평가 에피소드를 수행한 결과, 100% 캐치 성공률를 기록했으며, 평균 캐치 시간은 2.39초였다.
• 최종 시각 기반 정책는 모방 학습이나 시뮬레이션 데이터 없이 약 28시간의 실세계 훈련을 통해 처음부터 학습되었다.
• 의도적으로 쓸모없는 보조 작업이 포함되어 있어도 학습 성능이 유지되어 보조 작업 선택에 대한 강건성을 입증했다.
• 보조 작업에 대해 보상 구조를 조정함으로써 실세계 하드웨어에서 학습 속도와 데이터 효율성이 크게 향상되었다.
• 노이즈가 많은 센서와 완벽하지 않은 시각 데이터를 가진 실세계에서, 특징 기반 정책와 시각 기반 정책의 학습 곡선이 약 5,000개의 에피소드 후에 수렴하였다.
• 최종 정책는 실시간 추적 기술 없이도 원시 카메라 이미지와 자세 감지 피드백만을 사용해 성공적으로 작동하여, 최소한의 센서 요구 조건에서도 배포 가능성을 입증했다.