[논문 리뷰] Robotic Table Tennis with Model-Free Reinforcement Learning

Wenbo Gao, Laura Graesser외 6명|arXiv (Cornell University)|2020. 03. 31.

Reinforcement Learning in Robotics참고 문헌 42인용 수 5

한 줄 요약

이 논문은 100Hz에서 6-도르기계팔을 제어하는 공동공간 정책을 학습하기 위해 진화 전략을 사용하는 모델-프리 강화학습 접근법을 제시한다. 공의 궤도 모델링이나 인간의 시범 없이도 이중 모드의 플랫핸드 및 백핸드 스트로크를 학습함으로써 80%의 공 복귀 비율을 달성하며, 교육 과정 학습과 시간적 컨볼루션을 활용해 부드럽고 컴act한 정책을 구현한다.

ABSTRACT

We propose a model-free algorithm for learning efficient policies capable of returning table tennis balls by controlling robot joints at a rate of 100Hz. We demonstrate that evolutionary search (ES) methods acting on CNN-based policy architectures for non-visual inputs and convolving across time learn compact controllers leading to smooth motions. Furthermore, we show that with appropriately tuned curriculum learning on the task and rewards, policies are capable of developing multi-modal styles, specifically forehand and backhand stroke, whilst achieving 80\% return rate on a wide range of ball throws. We observe that multi-modality does not require any architectural priors, such as multi-head architectures or hierarchical policies.

연구 동기 및 목표

• 예측 공 궤도 모델이나 인간의 시범에 의존하지 않고 100Hz에서 고속 로봇 테이블 테니스 제어를 위한 모델-프리 강화학습 정책을 개발하는 것.
• 다중 모드의 플레이 스타일(예: 플랫핸드 및 백핸드)이 다중 헤드 또는 계층적 정책과 같은 아키텍처 사전 지식 없이 종단 간 강화학습에서 자연스럽게 유도되는지 조사하는 것.
• 완전 연결 네트워크와 비교하여 비시각적 입력에 대한 시간적 컨볼루션의 효과를 평가하여 매끄럽고 컴act한 정책을 학습하는 데 기여하는지 확인하는 것.
• 효율적인 이중 모드 정책 학습을 가능하게 하면서 스타일 붕괴와 국소 최적점 문제를 방지하는 교육 과정 학습 전략을 설계하는 것.
• 밀도 높은 보상(예: 테이블까지의 거리)과 보상 형태 조정이 정책 다양성과 성능을 훼손하지 않으면서 학습을 향상시키는지 평가하는 것.

제안 방법

• 공의 궤도 예측이나 인간의 시범 없이도, 짧은 기간 동안의 관절 위치와 공의 위치 기록을 기반으로 실시간으로 100Hz에서 관절 속도를 최적화하는 진화 전략(ES)을 사용해 정책 네트워크를 훈련한다.
• 비시각적 본체 감각 및 공 상태 입력에 대해 시간에 따라 작용하는 1차원 컨volutional 신경망(CNN)을 사용하여 시간 동적 특성을 학습하고 매끄러운 제어 출력을 생성한다.
• 교육 과정 학습 스케줄을 적용: 처음에는 전체 테이블에서 정상적 자세 보상과 DCPS(이중 정상적 자세 형태 조정)를 사용하고, 이후 DTR(테이블까지의 거리) 밀도 보상과 함께 제한된 공 범위(0.5, 0.7)로 점차 전체 테이블 커버리지로 확장한다.
• 두 가지 핵심 보상으로 보상 형태 조정을 적용: (1) 안정적이고 양손 스타일의 자세를 장려하기 위한 DCPS, (2) 상대 테이블에 가까운 정도에 기반한 밀도 높은 성공 신호인 DTR.
• 분포 형태 조정을 통해 공 낙하 영역을 점차 넓히며 (0.5, 0.7) → (0.3, 0.7) → 전체 테이블으로 전환하여 국소 최적점 회피와 이중 모드 행동 유도를 도모한다.
• 성공 보상(+1.0 반환)과 밀도 높은 DTR 보상의 조합을 통해 정체된 영역에서 탈출하고 고성공 영역에서의 탐색을 향상시킨다.

실험 결과

연구 질문

• RQ1 예측 공 궤도 모델이나 인간의 시범 없이도 모델-프리 강화학습 정책이 100Hz에서 테이블 테니스 공을 복귀시킬 수 있는가?
• RQ2 다중 헤드 또는 계층적 정책과 같은 아키텍처 사전 지식 없이 종단 간 강화학습에서 다중 모드 플레이(예: 플랫핸드 및 백핸드)가 자연스럽게 유도되는가?
• RQ3 비시각적 입력에 대한 시간적 컨볼루션은 완전 연결 네트워크와 비교해 고속 로봇 제어에서 더 매끄럽고 컴act한 정책을 유도할 수 있는가?
• RQ4 보상 형태 조정과 분포 이동을 포함한 교육 과정 학습이 이중 모드 정책 학습과 스타일 붕괴 방지에 얼마나 효과적인가?
• RQ5 밀도 높은 보상(예: DTR)과 희박한 보상 간의 영향은 고정밀 로봇 작업에서 정책 다양성과 수렴에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델-프리 RL 접근법은 다양한 공 던지기 조건에서 80%의 복귀 비율을 달성하여 공 궤도 모델링 없이도 뛰어난 성능을 보였다.
• 교육 과정 학습과 보상 형태 조정을 통해 아키텍처 사전 지식 없이도 이중 모드의 플랫핸드 및 백핸드 플레이 스타일을 성공적으로 학습했다.
• 비시각적 입력에 대한 시간적 CNN은 MLP보다 더 매끄럽고 컴act한 정책을 생성하며, 특히 ES 훈련 프레임워크에서 매우 효과적이다.
• DTR 밀도 보상을 너무 이르게 도입하면 단일 모드 정책 붕괴가 발생하여 보상 설계가 정책 스타일의 유도에 매우 민감함을 시사한다.
• 분포 형태 조정—공 낙하 영역을 점차 넓히며 (0.5, 0.7) → 전체 테이블로 확장—이 훈련 안정성과 이중 모드 정책 학습에 크게 기여한다.
• DCPS 자세 보상과 DTR 성공 보상을 조합함으로써, 초기 이중 모드 정책이 확립된 후에도 성공률 향상이 지속되며 이중 모드 행동 유지가 가능하다.