[논문 리뷰] Policy-Aware Model Learning for Policy Gradient Methods

Romina Abachi, Mohammad Ghavamzadeh외 1명|arXiv (Cornell University)|2020. 02. 28.

Reinforcement Learning in Robotics참고 문헌 73인용 수 7

한 줄 요약

이 논문은 모델기반 강화학습에서 정책 그래เดียน트 기반 계획자에 특화된 모델 학습 방법인 정책 인지 모델 학습(PAML)을 소개한다. 계획자가 모델를 어떻게 사용하는지 고려한 손실 함수를 유도함으로써, 기존의 최대가능도 추정과 비교해 더 높은 샘플 효율성과 정책 성능을 달성하며, 더 나은 수렴성과 경험적 성과를 보인다.

ABSTRACT

This paper considers the problem of learning a model in model-based reinforcement learning (MBRL). We examine how the planning module of an MBRL algorithm uses the model, and propose that the model learning module should incorporate the way the planner is going to use the model. This is in contrast to conventional model learning approaches, such as those based on maximum likelihood estimate, that learn a predictive model of the environment without explicitly considering the interaction of the model and the planner. We focus on policy gradient type of planning algorithms and derive new loss functions for model learning that incorporate how the planner uses the model. We call this approach Policy-Aware Model Learning (PAML). We theoretically analyze a generic model-based policy gradient algorithm and provide a convergence guarantee for the optimized policy. We also empirically evaluate PAML on some benchmark problems, showing promising results.

연구 동기 및 목표

• 모델기반 강화학습에서 기존의 모델 학습 방식이 모델 정확도 자체를 목표로 삼으며 계획 과정에서의 모델 활용 방식을 고려하지 않는 비효율성을 해결하기 위해.
• 정책 그래디언트 추정에 영향을 주는 요소에만 모델 용량을 집중함으로써, 의사결정과 관련이 없는 환경 동역학에 낭비되는 모델 용량을 줄이기 위해.
• 정책 그래디언트 기반 MBRL에서 샘플 복잡도와 정책 성능을 향상시키기 위한 이론적으로 탄탄한 정책 인지 모델 학습 프레임워크를 개발하기 위해.
• 제안된 모델 기반 정책 그래디언트 알고리즘을 통해 최적화된 정책에 대한 수렴 보장을 제공하기 위해.

제안 방법

• 예측 정확도 외에 정책 그래디언트 기반 계획자와 모델 간의 상호작용을 명시적으로 포함하는 새로운 손실 함수를 제안하여 모델 학습을 수행한다.
• 모델 총변동 거리(total variation distance)를 기반으로 정책 그래디언트 추정 오차에 대한 이론적 경계를 유도하며, 모델 오차가 정책 성능 저하에 미치는 영향을 연결한다.
• 모델 예측 전이 확률을 최적화하는 데서 그치지 않고 정책 그래디언트 추정의 정확도를 최적화하기 위해 설계된 손실 함수를 사용해 모델을 학습하는 모델 기반 정책 그래디언트 알고리즘을 설계한다.
• 실제 전이 데이터를 리PLAY 버퍼에서, 환경의 초기 상태 분포에서 샘플링한 상태들, 그리고 버퍼 상태 주변의 변형을 조합한 하이브리드 데이터 생성 전략을 계획에 적용한다.
• 정책과 가치 함수를 별도의 네트워크로 가지는 이중 스트림 액터-크리틱 아키텍처를 사용하며, 타겟 네트워크와 소프트 업데이트를 적용한 오프-폴리시 딥 강화학습(DDPG 스타일)으로 훈련한다.
• 학습률 스케줄링과 하이퍼파rameter 튜닝을 각 방법에 맞게 적용하여, PAML와 MLE 기반 베이스라인 간의 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 계획자 특화 목적을 모델 학습에 통합할 경우, 정책 그래디언트 추정 정확도와 최종 정책 성능에 어떤 영향을 미치는가?
• RQ2 예측 오차가 아닌 정책 그래디언트 오차를 최소화하도록 학습된 모델은 모델기반 강화학습에서 더 높은 샘플 효율성을 달성할 수 있는가?
• RQ3 정책 그래디언트 방법에서 모델 오차(총변동 거리 기준)와 정책 그래디언트 추정 오차 사이의 이론적 관계는 무엇인가?
• RQ4 기본 제어 과제에서 PAML가 최대가능도 추정(MLE) 및 모델프리 기반 베이스라인과 비교해 학습 속도와 최종 성능 측면에서 어떻게 성능을 내는가?

주요 결과

• PAML은 HalfCheetah, Ant, Hopper와 같은 여러 연속 제어 벤치마크에서 최대가능도 추정(MLE) 기반 베이스라인보다 뛰어난 샘플 효율성과 최종 정책 성능을 달성한다.
• 고차원 상태 공간과 복잡한 동역학을 가진 환경에서 학습 속도 향상과 점근적 성능 향상이 일관되게 관찰된다.
• 경험적 결과는 PAML가 동일한 수의 실제 환경 상호작용을 가진 MLE 및 모델프리 DDPG 기반 베이스라인보다 더 빠르게 수렴하고 더 높은 수익을 달성함을 보여준다.
• 이론적 분석을 통해 정책 그래디언트 추정 오차는 진짜 전이 동역학과 모델 전이 동역학 간의 총변동 거리에 의해 경계됨을 입증하며, 본 방법의 공식적 정당화를 제공한다.
• 의사결정과 관련 없는 환경 동역학이 존재하는 환경에서 PAML가 MLE를 능가함을 확인함으로써, 의사결정에 관련된 요소에만 모델 용량을 집중하는 것이 학습을 향상시킨다는 것을 확인한다.
• 제거 실험 결과, 계획에 사용하는 데이터 분포(리PLAY 버퍼, 초기 상태 분포, 무작위 변형) 선택이 성능에 상당한 영향을 미치며, PAML는 이러한 선택에 대해 강건함을 보였다.