[논문 리뷰] Model-Free Trajectory-based Policy Optimization with Monotonic Improvement

Riad Akrour, Abbas Abdolmaleki외 3명|arXiv (Cornell University)|2016. 06. 29.

Gaussian Processes and Bayesian Inference인용 수 19

한 줄 요약

이 논문은 궤적 기반 정책 최적화 알고리즘인 MOTO를 제안한다. MOTO는 궤적 데이터로부터 국소적이고 시간에 따라 변하는 이차 Q함수를 학습하고, 연속된 정책 간의 정확한 KL 발산 제약 조건을 강제하여 단조적 향상을 보장한다. 기존의 선형화된 동역학에 의존하는 방법들과는 달리, 선형화 편향을 피하면서도 중요도 표본 추출을 통해 샘플 효율성을 유지함으로써, 매우 비선형적인 제어 과제에서 뛰어난 성능을 달성한다.

ABSTRACT

Many of the recent trajectory optimization algorithms alternate between linear approximation of the system dynamics around the mean trajectory and conservative policy update. One way of constraining the policy change is by bounding the Kullback-Leibler (KL) divergence between successive policies. These approaches already demonstrated great experimental success in challenging problems such as end-to-end control of physical systems. However, the linear approximation of the system dynamics can introduce a bias in the policy update and prevent convergence to the optimal policy. In this article, we propose a new model-free trajectory-based policy optimization algorithm with guaranteed monotonic improvement. The algorithm backpropagates a local, quadratic and time-dependent \qfunc~learned from trajectory data instead of a model of the system dynamics. Our policy update ensures exact KL-constraint satisfaction without simplifying assumptions on the system dynamics. We experimentally demonstrate on highly non-linear control tasks the improvement in performance of our algorithm in comparison to approaches linearizing the system dynamics. In order to show the monotonic improvement of our algorithm, we additionally conduct a theoretical analysis of our policy update scheme to derive a lower bound of the change in policy return between successive iterations.

연구 동기 및 목표

• 궤적 기반 정책 최적화에서 시스템 동역학을 선형화함으로써 유도되는 편향을 해결함으로써 최적 정책 수렴을 방해하는 문제를 해결한다.
• 시스템 동역학에 대한 단순화된 가정에 의존하지 않고도 정책 성능의 단조적 향상을 보장하는 모델 프리 알고리즘을 개발한다.
• 정확한 KL 제약 조건 하에서 닫힌 형태의 업데이트를 통해 고차원 연속 제어 과제에서 효과적인 정책 업데이트를 가능하게 한다.
• 중요도 표본 추출을 통해 반복 간 전이 데이터를 재사용함으로써 샘플 효율성을 향상시킨다.
• 기존 연구에서 강제하기 어려운 최대 KL 경계를 요구하는 바탕을 넘어서, 기대값 기반 KL 제약 조건이 단조적 정책 향상에 기여하는 이론적 근거를 제시한다.

제안 방법

• 감독 학습 회귀를 통해 궤적 데이터로부터 국소적이고 시간에 따라 변하는 이차 Q함수를 학습함으로써, 시스템 모델 없이도 상태-행동 가치 정보를 포착한다.
• 정보 이론적 신뢰 영역을 사용하여, 현재 정책과 업데이트된 정책 간의 기대값 기반 KL 발산에 대한 정확한 제약 조건을 강제함으로써 닫힌 형태의 정책 업데이트를 계산한다.
• Q함수는 현재 정책 분포에서의 샘플에 피팅되므로 국소적 유효성이 보장되고 근사 오차가 감소한다.
• 모든 시간 단계와 이전 반복의 전이 데이터를 효율적으로 재사용하기 위해 중요도 표본 추출을 활용함으로써 샘플 효율성을 향상시킨다.
• 스토캐스틱 선형 피드백 정책 파arameterization을 활용하여 계산 가능하고 안정적인 정책 업데이트를 가능하게 한다.
• 이론적 분석을 통해 반복 간 정책 수익 향상의 하한을 도출하여, 기대값 기반 KL 제약 조건 하에서 단조적 향상이 보장됨을 증명한다.

실험 결과

연구 질문

• RQ1 모델 프리 정책 최적화 알고리즘이 선형화된 동역학 모델에 의존하지 않고도 단조적 향상을 달성할 수 있는가?
• RQ2 시스템 동역학에 대한 단순화된 가정 없이도 정책 업데이트에서 정확한 KL 제약 조건을 충족시킬 수 있는가?
• RQ3 국소적 이차 Q함수 학습이 매우 비선형 제어 과제에서 성능에 어떤 영향을 미치는가?
• RQ4 중요도 표본 추출이 시간에 따라 변하는 정책을 가진 궤적 기반 정책 최적화에서 샘플 효율성을 효과적으로 향상시킬 수 있는가?
• RQ5 최대 KL 제약 조건이 아닌 기대값 기반 KL 제약 조건을 강제해도 여전히 단조적 정책 향상이 보장되는가?

주요 결과

• MOTO는 선형화된 동역학에 의존하는 베이스라인 방법보다 매우 비선형적인 제어 과제에서 뛰어난 샘플 효율성과 성능을 보여주었다.
• 반복 간 수익 증가의 하한을 이론적으로 도출함으로써 알고리즘이 정책 수익에서 단조적 향상을 달성함을 입증하였다.
• 샘플 수나 동역학의 비선형성과 관계없이 정확한 KL 제약 조건이 유지되어 안정적이고 신뢰할 수 있는 정책 업데이트를 보장한다.
• 시뮬레이션된 로봇 테이블 테니스 과제에서 MOTO는 낮은 샘플 복잡도로 고차원 연속 제어 문제에 효과적으로 스케일링되었다.
• 이론적 분석을 통해 이전 정책의 상태 분포 하에서 기대값 기반 KL 발산을 제약하는 것이 단조적 향상을 보장하는 데 충분함을 확인하였으며, 이는 이전 연구에서 요구하던 더 강력한 최대 KL 제약 조건을 초월하는 결과이다.