[논문 리뷰] Guided Policy Search as Approximate Mirror Descent

William Montgomery, Sergey Levine|arXiv (Cornell University)|2016. 07. 15.

Reinforcement Learning in Robotics참고 문헌 16인용 수 15

한 줄 요약

이 논문은 거울 강하 가이드드 정책 탐색(MDGPS)을 제안하며, 이는 정책 최적화를 근사 거울 강하로 해석함으로써 안정적이고 스텝 사이즈 제어가 가능한 개선을 가능하게 하며, 더 적은 하이퍼파rameter를 요구한다. 이는 로봇 주행 및 조작 작업에서 이전 방법들과 비교해 유사하거나 더 나은 성능을 달성하며, 볼록성과 비선형 설정에서 오차가 유한한 조건 하에서 이론적 수렴 보장을 제공한다.

ABSTRACT

Guided policy search algorithms can be used to optimize complex nonlinear policies, such as deep neural networks, without directly computing policy gradients in the high-dimensional parameter space. Instead, these methods use supervised learning to train the policy to mimic a "teacher" algorithm, such as a trajectory optimizer or a trajectory-centric reinforcement learning method. Guided policy search methods provide asymptotic local convergence guarantees by construction, but it is not clear how much the policy improves within a small, finite number of iterations. We show that guided policy search algorithms can be interpreted as an approximate variant of mirror descent, where the projection onto the constraint manifold is not exact. We derive a new guided policy search algorithm that is simpler and provides appealing improvement and convergence guarantees in simplified convex and linear settings, and show that in the more general nonlinear setting, the error in the projection step can be bounded. We provide empirical results on several simulated robotic navigation and manipulation tasks that show that our method is stable and achieves similar or better performance when compared to prior guided policy search methods, with a simpler formulation and fewer hyperparameters.

연구 동기 및 목표

• 기존 가이드드 정책 탐색 방법에서 성능 보장의 부족과 하이퍼파rameter 민감도 문제를 해결하기 위해.
• 정책 제약 조건 하에서 가이드드 정책 탐색을 근사 거울 강하 알고리즘으로 체계적으로 해석하기 위해.
• 더 단순하고 안정적인 알고리즘을 유도하여 더 적은 하이퍼파rameter를 요구하며, 제약 조건의 투영 오차가 유한할 경우 연속적인 개선을 보장하기 위해.
• KL 발산을 이용한 정책 비용에 대한 기존 경계를 확장하여 스텝 사이즈 선택에 실용적인 지침을 제공하기 위해.
• 복잡한 로봇 작업에서 방법을 경험적으로 검증하여, 더 적은 튜닝으로도 뛰어난 또는 유사한 성능을 달성하기 위해.

제안 방법

• 가이드드 정책 탐색을 근사 거울 강하로 해석하며, 이 경우 감독 학습은 제약 다각형 위로의 투영 역할을 한다.
• 경로 최적화(C단계)와 감독 정책 학습(S단계)를 번갈아 수행하는 새로운 알고리즘인 MDGPS를 도입한다.
• 스텝 사이즈를 통해 정책 업데이트 정도를 제어하며, 동역학 및 정책 공간이 비선형인 경우 투영 단계의 오차에 대한 이론적 경계를 제공한다.
• 정책 업데이트와 제약 조건 충족 간의 트레이드오���을 균형 잡는 전역 스텝 사이즈 규칙을 제안하여 단조적 개선을 보장한다.
• 정책 기반 및 비정책 기반 샘플링을 모두 지원하며, 비정책 기반 샘플링은 복잡한 작업에서 더 빠른 수렴과 더 나은 일반화를 가능하게 한다.
• 기존 작업을 확장하여 KL 발산을 기반으로 정책 비용에 대한 경계를 유도함으로써, 스텝 사이즈 선택에 영향을 주고 연속적인 개선을 보장한다.

실험 결과

연구 질문

• RQ1 가이드드 정책 탐색은 근사 거울 강하의 변형으로 해석될 수 있으며, 이는 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ2 비선형 설정에서 가이드드 정책 탐색의 투영 오차는 어떻게 유한하게 제한할 수 있으며, 연속적인 개선을 보장하는 조건은 무엇인가?
• RQ3 스텝 사이즈는 정책 개선에 어떤 영향을 미치며, 하이퍼파rameter 튜닝을 줄이기 위한 자동화된 규칙을 유도할 수 있는가?
• RQ4 BADMM와 같은 이전 가이드드 정책 탐색 방법과 비교해 본 방법은 성능 및 강건성 측면에서 어떻게 다른가?
• RQ5 이 방법은 더 적은 하이퍼파rameter와 더 적은 수동 튜닝으로도 더 나은 또는 유사한 성능을 달성할 수 있는가?

주요 결과

• MDGPS는 특히 정책 기반 샘플링을 사용할 경우 정책 성능 향상이 일관되고 단조롭게 이루어지며, 이는 안정적인 학습을 보장한다.
• 눈먼 페그 삽입 작업에서 전역 스텝 사이즈를 사용한 MDGPS는 12회 반복 후 85.19%의 성공률을 기록했으며, 동일 조건에서 BADMM의 75%를 초월한다.
• MDGPS의 비정책 기반 변형은 눈먼 페그 작업에서 92.59%의 성공률을 기록했으며, 동일한 반복 수에서 BADMM의 77.78%를 크게 뛰어넘었다.
• MDGPS는 BADMM에 비해 상당히 적은 하이퍼파ram터 튜닝을 요구한다. BADMM는 보조 라그랑주 가중치, 이중 스텝 사이즈, 국소 정책 스텝 사이즈를 신중하게 조정이 필요하다.
• 이론적 분석 결과 비선형 설정에서의 투영 오차는 스텝 사이즈에 의해 유한하게 제한되며, 스텝 사이즈가 충분히 작을 경우 연속적인 개선이 보장된다.
• 경험적 결과는 이 방법이 여러 시뮬레이션된 로봇 작업, 특히 주행 및 시각 기반 조작 작업에서 안정적이고 효과적이라는 것을 확인한다.