[논문 리뷰] Guided Policy Search via Approximate Mirror Descent

William Montgomery, Sergey Levine|arXiv (Cornell University)|2016. 07. 15.

Reinforcement Learning in Robotics참고 문헌 18인용 수 83

한 줄 요약

이 논문은 지도 학습을 통해 교사 정책을 모방함으로써 정책 업데이트를 유도하는 새로운 가이드드 정책 탐색 알고리즘을 제안한다. 이는 근사 거울 강하법로 프레임워크화된 것으로, 수렴 보장을 더 강화하고 하이퍼파rameter를 줄이며, 로봇 조작 작업에서 이전 방법들과 비교해 유사하거나 우수한 성능을 달성한다.

ABSTRACT

Guided policy search algorithms can be used to optimize complex nonlinear policies, such as deep neural networks, without directly computing policy gradients in the high-dimensional parameter space. Instead, these methods use supervised learning to train the policy to mimic a “teacher” algorithm, such as a trajectory optimizer or a trajectory-centric reinforcement learning method. Guided policy search methods provide asymptotic local convergence guarantees by construction, but it is not clear how much the policy improves within a small, finite number of iterations. We show that guided policy search algorithms can be interpreted as an approximate variant of mirror descent, where the projection onto the constraint manifold is not exact. We derive a new guided policy search algorithm that is simpler and provides appealing improvement and convergence guarantees in simplified convex and linear settings, and show that in the more general nonlinear setting, the error in the projection step can be bounded. We provide empirical results on several simulated robotic manipulation tasks that show that our method is stable and achieves similar or better performance when compared to prior guided policy search methods, with a simpler formulation and fewer hyperparameters.

연구 동기 및 목표

• 기존 가이드드 정책 탐색 방법에서 유한 반복 내에서 명확한 성능 향상 보장을 제공하지 못하는 문제를 해결하기 위해.
• 가이드드 정책 탐색을 정책 제약 다양체 위에 비정확한 투영을 포함하는 근사 거울 강하 알고리즘으로 해석하기 위해.
• 볼록 및 선형 설정에서 더 강력한 이론적 수렴 보장을 제공하는 더 단순하고 안정적인 알고리즘을 개발하기 위해.
• 비선형 설정에서 투영 오차를 경계함으로써 강인성과 수렴성을 보장하기 위해.
• 모의 로봇 조작 작업을 통해 제안된 방법의 성능과 하이퍼파rameter 조정 감소를 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 정책 제약 다양체 위의 투영 단계가 정확하지 않은 근사 거울 강하 알고리즘으로 가이드드 정책 탐색을 해석한다.
• 고차원 공간에서 직접 정책 기울기를 계산하는 것을 피하기 위해, 교사 정책을 모방하는 지도 학습을 통해 정책 업데이트를 공식화한다.
• 정규화된 목적 함수를 최소화함으로써 볼록 및 선형 설정에서 수렴을 보장하는 새로운 업데이트 규칙을 도입한다.
• 비선형 설정에서는 근사 투영으로 인해 발생하는 오차를 경계하여 수렴에 대한 이론적 보장을 제공한다.
• 최적화 목적 함수를 단순화하고 복잡한 스케줄링을 제거함으로써 하이퍼파rameter 수를 줄인다.
• 기존 방법들과의 성능 및 안정성 비교를 위해 모의 로봇 조작 작업을 대상으로 경험적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 가이드드 정책 탐색을 이론적 수렴 보장을 갖는 근사 거울 강하법으로 재해석할 수 있는가?
• RQ2 가이드드 정책 탐색에서 비정확한 투영을 사용할 경우의 영향은 무엇이며, 그로 인한 오차를 경계할 수 있는가?
• RQ3 더 단순한 가이드드 정책 탐색 알고리즘이 더 적은 하이퍼파rameter로 유사하거나 우수한 성능을 달성할 수 있는가?
• RQ4 복잡한 로봇 제어 작업에서 제안된 방법의 안정성과 수렴 속도는 어떻게 되는가?
• RQ5 거울 강하법 해석이 비선형 정책 최적화에서 개선된 경험적 성능을 이끌어내는가?

주요 결과

• 제안된 방법은 모의 로봇 조작 작업에서 기존 가이드드 정책 탐색 방법들과 비교해 유사하거나 뛰어난 성능을 달성한다.
• 기존 접근 방식과 비교해 더 적은 하이퍼파rameter를 조정해야 하며, 학습 중에 더 뛰어난 안정성을 보여준다.
• 볼록 및 선형 설정에서는 거울 강하법 해석 덕분에 강력한 이론적 수렴 보장을 제공한다.
• 비선형 정책에서는 근사 투영으로 인한 오차가 경계되어 온건한 가정 하에 수렴성을 보장한다.
• 경험적 결과는 단순화된 공식화가 복잡한 제어 작업에서 높은 샘플 효율성과 강인성을 유지함을 보여준다.
• 복잡한 스케줄링과 히وري스틱 조정에 대한 의존도를 줄여 실제 로봇 응용 분야에서 더 실용적으로 만들 수 있다.