[논문 리뷰] Path Integral Guided Policy Search

Yevgen Chebotar, Mrinal Kalakrishnan외 4명|arXiv (Cornell University)|2016. 10. 03.

Reinforcement Learning in Robotics참고 문헌 34인용 수 12

한 줄 요약

이 논문은 경로 적분 기반 최적화 알고리즘인 PI²를 사용하여 가이드드 정책 탐색(GPS)의 전통적인 LQR 기반 국소 정책 최적화기 대체함으로써, 비연속적인 접촉 동역학을 가지는 작업(예: 문 열기 및 집기-놓기 작업)에 대해 복잡한 로봇 조작 정책을 효과적으로 학습할 수 있도록 하는 경로 적분 가이드드 정책 탐색(PI-GPS)을 제안함. 정책 학습 단계에서 온-폴리시 샘플링을 통합하여 반복적으로 다양한 훈련 인스턴스를 생성함으로써 일반화 능력을 향상시키고, 빌드-인된 딥 뉴럴 네트워크 정책을 사용한 시각 기반 작업에서 이전 방법들을 능가함.

ABSTRACT

We present a policy search method for learning complex feedback control policies that map from high-dimensional sensory inputs to motor torques, for manipulation tasks with discontinuous contact dynamics. We build on a prior technique called guided policy search (GPS), which iteratively optimizes a set of local policies for specific instances of a task, and uses these to train a complex, high-dimensional global policy that generalizes across task instances. We extend GPS in the following ways: (1) we propose the use of a model-free local optimizer based on path integral stochastic optimal control (PI2), which enables us to learn local policies for tasks with highly discontinuous contact dynamics; and (2) we enable GPS to train on a new set of task instances in every iteration by using on-policy sampling: this increases the diversity of the instances that the policy is trained on, and is crucial for achieving good generalization. We show that these contributions enable us to learn deep neural network policies that can directly perform torque control from visual input. We validate the method on a challenging door opening task and a pick-and-place task, and we demonstrate that our approach substantially outperforms the prior LQR-based local policy optimizer on these tasks. Furthermore, we show that on-policy sampling significantly increases the generalization ability of these policies.

연구 동기 및 목표

• 비연속적인 접촉 동역학을 가지는 작업(예: 문 열기 및 집기-놓기 작업)에서 모델 기반 LQR 기반 국소 정책 최적화의 열악한 성능을 해결하기 위함.
• 확장 가능한 감독 학습 프레임워크를 활용해 시각 기반 로봇 조작에 적합한 고차원, 딥 뉴럴 네트워크 정책의 효과적인 학습을 가능하게 하기 위함.
• 각 반복에서 온-폴리시 샘플링을 통해 새로운 작업 인스턴스를 동적으로 샘플링하여 훈련 다양성을 증가시킴으로써 정책의 일반화 능력을 향상시키기 위함.
• 모델 프리(LQR가 실패하는 매우 비연속적이고 비스무스한 환경에서도 모델 프리인 PI²가 국소 정책 최적화에 효과적으로 기여할 수 있음을 입증하기 위함.
• 복잡한 접촉 처리와 시각 입력 처리가 요구되는 실제 로봇 작업에서 본 방법의 유효성을 검증하기 위함.

제안 방법

• 가이드드 정책 탐색의 LQR 기반 국소 정책 최적화기 대신, 경로 적분 근사 기반 정책 향상 방식을 사용하는 모델 프리, 확률적 최적 제어 방법인 PI²로 대체함.
• 안정적인 국소 정책 업데이트를 확보하면서도 탐색과 수렴성을 유지하기 위해 PI²의 KL 제약형 변종을 도입함.
• 글로벌 정책 학습 단계에서 온-폴리시 샘플링을 적용하여, 각 반복에서 현재 글로벌 정책의 행동에서 새로운 작업 인스턴스를 샘플링함.
• 고차원 시각 관측값을 직접 모터 토크로 매핑하는 딥 뉴럴 네트워크 정책을 사용하며, 국소 정책이 생성한 트레이젝터리에 기반한 감독 학습 방식으로 학습함.
• 훈련 영역을 점진적으로 확장함으로써 커리큘럼 학습을 적용하여 최소 성공률를 유지하고 치명적인 기억 상실을 방지함.
• 시작 단계에서 정책의 구조를 결정하기 위해 단지 시범 데이터만 사용하고, 반복적인 온-폴리시 샘플링을 통해 다양한 인스턴스를 통해 글로벌 정책이 광범위한 작업 인스턴스 분포에 일반화됨.

실험 결과

연구 질문

• RQ1 LQR 기반 방법이 실패하는 매우 비연속적인 접촉 동역학을 가지는 로봇 조작 작업에서 PI²가 국소 정책 최적화에 효과적으로 기여할 수 있는가?
• RQ2 가이드드 정책 탐색에서 온-폴리시 샘플링이 다양한 작업 인스턴스에 걸쳐 글로벌 정책의 일반화 능력을 크게 향상시키는가?
• RQ3 PI²로 최적화된 국소 정책의 트레이젝터리에 기반한 감독 학습 방식으로 학습된 딥 뉴럴 네트워크 정책이 실제 시각 기반 조작 작업에서 높은 성능을 달성할 수 있는가?
• RQ4 PI²와 온-폴리시 샘플링의 조합이 복잡한 작업에서 이전의 GPS 방법(예: LQR 기반)에 비해 성공률 및 내구성 측면에서 어떻게 우월한가?
• RQ5 반복적이고 다양한 인스턴스 샘플링을 통해 훈련된 글로벌 정책는 초기 시범 영역을 초월해 얼마나 넓게 일반화될 수 있는가?

주요 결과

• PI² 기반 국소 정책 최적화는 문 열기 및 집기-놓기 작업 모두에서 이전의 LQR 기반 방법보다 뚜렷이 뛰어난 성능을 보였으며, 비연속적인 동역학을 가지는 환경에서도 성공적인 학습을 가능케 함.
• 온-폴리시 샘플링을 통해 반복 과정에서 훈련 인스턴스의 다양성이 증가하여, 집기-놓기 작업의 성공률가 초기화 후 40%에서 전체 훈련 후 86.7%로 46.7% 향상됨.
• 최종 정책는 초기 시범 영역을 초월해 30개의 랜덤 초기 자세에서 병을 목표 위치에 성공적으로 놓는 데 86.7%의 성공률 기록함.
• 정책는 그립퍼의 탄성 특성을 효과적으로 활용하여, 시범 데이터에 비해 잡는 동안 자세의 변동성을 줄였고, 더 조심스럽게 놓기 위해 운동을 느리게 조절함.
• 문의 자세 변동성이 큰 환경에서도 문 열기 작업에서 높은 성능를 기록하여, 접촉 비연속성에 대한 강건성을 입증함.
• 특히 훈련 영역이 확장된 후기 훈련 단계에서 이전에 학습한 인스턴스를 잃는 것을 방지하기 위해 글로벌 정책 샘플링 중 SGD 학습률을 10⁻⁴로 낮추는 것이 필수적이었음.