[논문 리뷰] Trust-PCL: An Off-Policy Trust Region Method for Continuous Control

Ofir Nachum, Mohammad Norouzi외 2명|arXiv (Cornell University)|2017. 07. 06.

Reinforcement Learning in Robotics참고 문헌 27인용 수 31

한 줄 요약

Trust-PCL는 상대 엔트로피 정규화를 사용하여 정책 최적화를 안정화하면서도 이완된 정책 데이터를 효율적으로 재사용할 수 있도록 하는 비온정책 신뢰 영역 강화학습 알고리즘입니다. 엔트로피 정규화를 통한 최대 수익 목표에서 경로 일致성을 강제함으로써 Trust-PCL는 TRPO보다 뛰어난 샘플 효율성과 최종 성능를 달성하며, 연속 제어 벤치마크에서 최신 기술 수준의 성능을 matching하거나 초월합니다.

ABSTRACT

Trust region methods, such as TRPO, are often used to stabilize policy optimization algorithms in reinforcement learning (RL). While current trust region strategies are effective for continuous control, they typically require a prohibitively large amount of on-policy interaction with the environment. To address this problem, we propose an off-policy trust region method, Trust-PCL. The algorithm is the result of observing that the optimal policy and state values of a maximum reward objective with a relative-entropy regularizer satisfy a set of multi-step pathwise consistencies along any path. Thus, Trust-PCL is able to maintain optimization stability while exploiting off-policy data to improve sample efficiency. When evaluated on a number of continuous control tasks, Trust-PCL improves the solution quality and sample efficiency of TRPO.

연구 동기 및 목표

• TRPO와 같은 온정책 신뢰 영역 방법의 열악한 샘플 효율성을 해결하기 위해 광범위한 환경 상호작용이 필요로 하는 문제를 해결합니다.
• 현재 정책와 목표 정책 간의 상대 엔트로피 정규화를 도입하여 연속 제어에서 비온정책 정책 최적화를 안정화합니다.
• 최적화 안정성과 수렴성을 희생시키지 않고도 신뢰 영역 알고리즘에서 비온정책 데이터를 사용할 수 있도록 합니다.
• 보상 척도에 영향을 받지 않는 방식으로 엔트로피 정규화 계수를 자동으로 조정함으로써 초파rameter에 대한 민감도를 줄이는 방법을 개발합니다.
• 표준 연속 제어 환경에서 TRPO와 동등하거나 이를 초월하는 성능를 달성하면서도 샘플 효율성을 크게 향상시킵니다.

제안 방법

• 최대 수익 목표에 상대 엔트로피 정규화를 도입하여, 신뢰 영역 성질을 유지하는 제약 최적화 문제로 변형합니다.
• 엔트로피 정규화 하에서 최적 정책 및 가치 함수의 경로 일치 성질을 활용하여, 온정책 및 비온정책 데이터 모두를 학습에 사용할 수 있도록 합니다.
• 재플리 버퍼에서 수집한 비온정책 경험을 사용하여 정책과 가치 함수를 번갈아가며 업데이트하는 액터-크리틱 알고리즘으로 Trust-PCL를 제안합니다.
• 현재 정책와 목표 정책 간의 상대 엔트로피를 통해 정의된 신뢰 영역 제약 조건을 사용하여 안정적인 정책 업데이트를 보장합니다.
• 보상 크기에 영향을 받지 않는 방식으로 정규화 계수를 자동으로 결정하기 위한 스케일링 메커니즘을 도입하여 초파rameter 민감도를 감소시킵니다.
• TRPO의 안정성을 유지하면서도 비온정책 학습을 효율적으로 가능하게 하는 단순하고 확장 가능한 학습 절차를 구현합니다.

실험 결과

연구 질문

• RQ1 최적화 안정성을 희생시키지 않고도, 연속 제어에서 비온정책 딥 강화학습에 신뢰 영역 원리를 확장할 수 있는가?
• RQ2 상대 엔트로피 정규화는 어떻게 비온정책 경로를 통해 정책 및 가치 함수의 경로 일치성을 유지하는 데 기여하는가?
• RQ3 비온정책 데이터 재사용은 신뢰 영역 방법에서 샘플 효율성을 얼마나 향상시키며, 동시에 TRPO 수준의 높은 성능를 유지할 수 있는가?
• RQ4 정규화 계수를 보상 척도에 영향을 받지 않도록 자동으로 조정할 수 있는가? 이는 초파라미터 민감도를 줄이는 데 기여하는가?
• RQ5 Trust-PCL는 표준 연속 제어 벤치마크에서 TRPO보다 최종 성능와 샘플 효율성 면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• HalfCheetah에서 Trust-PCL는 최종 평균 수익 7057.1을 달성하여 TRPO(4343.6)를 뛰어넘고 최신 기술 수준의 결과를 matching하거나 초월합니다.
• Walker2d에서 Trust-PCL는 평균 수익 5027.2를 기록하여 TRPO(2838.4)를 크게 앞서며 샘플 효율성이 향상됨을 보여줍니다.
• Ant에서 Trust-PCL는 평균 수익 6104.2를 달성하여 TRPO(4347.5)와 IPG(4415)를 초월하며 도전적인 작업에서 뛰어난 성능를 보입니다.
• 비온정책 학습을 통해 Trust-PCL는 온정책 변종보다 훨씬 적은 환경 상호작용 수로 경쟁 가능한 성능를 달성하여 샘플 효율성의 급격한 향상을 입증합니다.
• 모든 평가된 환경에서 메서드는 안정적이고 효과적이며, 탐색 초파라미터 τ에 대해 거의 민감하지 않으며, τ=0일 경우에도 잘 작동합니다.
• 초파라미터 분석 결과, 신뢰 영역 크기 ε는 매우 중요합니다. 더 큰 ε는 불안정성을 유도함으로써 비온정책 환경에서 신뢰 영역 제약 조건의 필요성을 확인합니다.