[논문 리뷰] Imitation-Projected Programmatic Reinforcement Learning

Abhinav Verma, Hoang M. Le외 2명|arXiv (Cornell University)|2019. 07. 11.

Reinforcement Learning in Robotics참고 문헌 55인용 수 8

한 줄 요약

이 논문은 프로그래밍 가능한 강화학습을 위한 새로운 메타알고리즘인 Propel을 소개한다. Propel은 미러 강하와 이민학습 기반 프로그램 합성의 조합을 통해 기호적 프로그램으로서의 해석 가능하고 일반화 가능한 정책을 학습한다. 이민학습을 통해 비제약적인 딥 정책 기울기를 프로그래밍 가능한 정책 공간에 투영함으로써, Propel은 연속 제어 과제에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 Torcs 자동차 레이싱 환경에서 샘플 효율성과 내성성에 있어 뚜렷한 향상을 보였다.

ABSTRACT

We study the problem of programmatic reinforcement learning, in which policies are represented as short programs in a symbolic language. Programmatic policies can be more interpretable, generalizable, and amenable to formal verification than neural policies; however, designing rigorous learning approaches for such policies remains a challenge. Our approach to this challenge -- a meta-algorithm called PROPEL -- is based on three insights. First, we view our learning task as optimization in policy space, modulo the constraint that the desired policy has a programmatic representation, and solve this optimization problem using a form of mirror descent that takes a gradient step into the unconstrained policy space and then projects back onto the constrained space. Second, we view the unconstrained policy space as mixing neural and programmatic representations, which enables employing state-of-the-art deep policy gradient approaches. Third, we cast the projection step as program synthesis via imitation learning, and exploit contemporary combinatorial methods for this task. We present theoretical convergence results for PROPEL and empirically evaluate the approach in three continuous control domains. The experiments show that PROPEL can significantly outperform state-of-the-art approaches for learning programmatic policies.

연구 동기 및 목표

• 연속 제어 환경에서 해석 가능하고 검증 가능하며 일반화 가능한 정책을 학습하는 문제에 대응한다.
• 큰 정제 갭과 최적화되지 않은 정책 탐색으로 인해 제약을 받는 기존의 프로그래밍 가능한 RL 방법의 한계를 극복한다.
• 딥 정책 기울기와 기호적 프로그램 합성의 통합을 통해 제약된 정책 최적화를 위한 통합 프레임워크를 개발한다.
• 이민학습과 조합 합성에 기반한 투영 기반 메커니즘을 통해 프로그래밍 가능한 정책의 효과적인 학습을 가능하게 한다.
• 제안된 방법에 대한 수렴성과 유한 샘플 성능에 대한 이론적 보장을 제공한다.

제안 방법

• 정책이 사전 정의된 기호적 프로그램 클래스에 속해야 하는 조건부 최적화 문제로 프로그래밍 가능한 정책 학습을 공식화한다.
• 신경망과 프로그램적 표현을 통합한 비제약 정책 공간에서의 기울기 스텝을 취하기 위해 미러 강하를 사용한다.
• 정책 합성 기반으로 비제약 정책을 프로그래밍 가능한 정책 공간으로 투영하며, 이 투영을 이민학습 문제로 간주한다.
• 행동 시범으로부터 효율적인 프로그램 합성을 위한 현대적인 조합 및 기호적 방법을 활용한다.
• 혼합 표현 공간에서의 비제약 기울기 계산을 위해 최신 기술 수준의 딥 정책 기울기 방법(DDPG, TRPO 등)을 통합한다.
• 근사 기울기와 투영에 대한 이론적 분석을 적용하여 위험도와 수렴성의 경계를 설정함으로써, 유한 샘플 성능 보장을 확보한다.

실험 결과

연구 질문

• RQ1 딥 정책 기울기와 기호적 프로그램 합성을 조합하여 효과적으로 프로그래밍 가능한 정책을 학습할 수 있는 메타알고리즘을 설계할 수 있는가?
• RQ2 비제약 정책 공간에서 프로그래밍 가능한 정책 공간으로의 투영 단계를 이론적으로 탄탄한 기반을 가진 이민학습 문제로 공식화할 수 있는가?
• RQ3 근사 기울기와 투영 조건 하에서 제안된 방법의 이론적 수렴 성질은 어떠한가?
• RQ4 기존의 프로그래밍 가능한 RL 접근법에 비해 샘플 효율성, 일반화 능력, 내성성에 있어 얼마나 향상되었는가?
• RQ5 기호적 기법을 통한 검증이 가능한 정책 성질(예: 동작의 부드러움)을 학습된 프로그램이 충족할 수 있는가?

주요 결과

• Torcs 환경의 E-Road 트랙에서 Propel은 중앙값 주행 시간 78.47초, 추돌 비율 0.16을 기록하며 최신 기술 수준(SOTA) 방법을 능가했다.
• Torcs의 도전적인 Alpine-2 트랙에서 PropelTree는 중앙값 주행 시간 276초, 추돌 비율 0.92를 기록했으며, 이는 이전 방법들이 절반 이상의 시드에서 추돌한 것과 비교해 뚜렷한 승리였다.
• MountainCar 환경에서 PropelProg는 95.63 ± 1.02의 점수를 기록했고, DDPG(97.16 ± 3.21) 및 기타 베이스라인을 능가하여 샘플 효율성과 안정성 향상을 입증했다.
• Pendulum 환경에서 PropelTree는 수익 -139.09 ± 3.31을 기록했으며, DDPG(-132.70 ± 6.44)와 Viper(-394.11 ± 4.97)를 모두 능가해 더 우수한 정책 품질과 내성성을 보였다.
• 학습된 프로그램에서 부드러움 성질이 성공적으로 검증되었으며, RPM 변화가 6단계 동안 작을 경우 가속도 변화가 0.63 이내로 제한됨을 확인했다. 이는 공식 검증 가능성을 확인한 것이다.
• 일반화 결과에 따르면, PropelTree는 DDPG와 PropelProg보다 더 우수한 일반화 성능을 보였으며, G-Track와 E-Road와 같은 미리 보지 않은 트랙에서도 중앙값 주행 시간이 100초 이하로 유지되었다.