[논문 리뷰] Disentangling Dynamics and Returns: Value Function Decomposition with Future Prediction

Hongyao Tang, Jianye Hao외 5명|arXiv (Cornell University)|2019. 05. 27.

Financial Markets and Investment Strategies참고 문헌 32인용 수 3

한 줄 요약

이 논문은 미래 경로 예측을 통한 동적 및 수익 구성요소로 가치 함수를 분해하는 딥 강화 학습 알고리즘인 미래 예측를 통한 가치 함수 분해(VDFP)를 제안한다. 조건부 VAE를 활용한 동적 모델링과 볼록한 수익 헤드를 통해 VDFP는 MuJoCo 연속 제어 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 지연 보상 설정에서 특히 뛰어난 성능을 보이며 DDPG보다 최종 수익에서 2배에서 4배 높은 성능을 기록한다.

ABSTRACT

Value functions are crucial for model-free Reinforcement Learning (RL) to obtain a policy implicitly or guide the policy updates. Value estimation heavily depends on the stochasticity of environmental dynamics and the quality of reward signals. In this paper, we propose a two-step understanding of value estimation from the perspective of future prediction, through decomposing the value function into a reward-independent future dynamics part and a policy-independent trajectory return part. We then derive a practical deep RL algorithm from the above decomposition, consisting of a convolutional trajectory representation model, a conditional variational dynamics model to predict the expected representation of future trajectory and a convex trajectory return model that maps a trajectory representation to its return. Our algorithm is evaluated in MuJoCo continuous control tasks and shows superior results under both common settings and delayed reward settings.

연구 동기 및 목표

• 환경의 동적 특성과 보상 신호가 가치 함수 추정에서 뒤섞여 발생하는 문제를 해결함으로써, 확률적이고 지연 보상 환경에서의 성능 저하를 완화하고자 한다.
• 보상 신호와 독립적인 미래 동적 특성 예측과 궤적 수익 추정으로 나누어지는 두 가지 별개의 학습 가능한 구성요소로 가치 추정을 분리하는 모델-프리 RL 알고리즘을 개발하고자 한다.
• 동적 및 수익 모델을 별도로 훈련시킴으로써, 지연 보상과 같은 도전적인 환경에서 샘플 효율성과 강건성을 향상시키고자 한다.
• 인간의 인지 과정에 영감을 얻어 미래 예측 기반의 새로운 이론적 및 실용적 가치 함수 추정 프레임워크를 제공하고자 한다.
• 표준 MuJoCo 벤치마크에서 실험적으로 방법을 검증하고, 각 구성요소를 분석함으로써 재현 가능성과 통찰력을 확보하고자 한다.

제안 방법

• 가치 함수는 보상에 의존하지 않는 예측 동적 함수와 정책에 의존하지 않는 궤적 수익 함수의 조합으로 재표현된다.
• 궤적을 압축된 표현으로 압축하기 위해 컨볼루션 신경망이 사용된다.
• 조건부 변동성 자동인코더(conditional VAE)는 미래 궤적 표현의 분포를 모델링하며, 클리핑된 생성 노이즈를 사용해 기대되는 미래 상태-행동 궤적을 근사한다.
• 동적 모델은 보상 신호로부터 분리되어 기대되는 미래 표현을 예측하도록 훈련된다.
• 볼록한 궤적 수익 모델은 궤적 표현을 그들의 할인 누적 수익으로 매핑하며, 동적 모델과 별도로 훈련된다.
• 전체 알고리즘은 경험 재생을 활용한 오프-폴리시 훈련을 사용하며, 분리된 구성요소를 활용해 안정적이고 효율적인 학습을 수행한다.

실험 결과

연구 질문

• RQ1 미래 예측을 통해 가치 함수 추정을 효과적으로 동적 특성과 수익 구성요소로 분해할 수 있는가?
• RQ2 동적 특성과 수익 모델링을 분리함으로써, 확률적 동적 특성 또는 지연 보상 환경에서의 학습 안정성과 성능 향상이 이루어지는가?
• RQ3 클리핑된 노이즈 생성을 갖는 조건부 VAE는 기대되는 미래 궤적을 효과적으로 모델링하면서도 보상 신호의 비정상성에 대해 강건한가?
• RQ4 기존 최신 기술 수준 알고리즘과 비교했을 때, 표준 및 지연 보상 MuJoCo 환경에서 제안된 방법의 성능은 어떠한가?
• RQ5 각 구성요소(동적 특성, 수익, 표현)가 전체 성능에 기여하는 정도는 어떠하며, 분포 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 표준 훈련 조건에서 HalfCheetah-v1에서 VDFP는 최종 수익 5818.60 ± 336.25를 기록하며 DDPG 및 기타 베이스라인을 초월한다.
• 16단계 지연 보상 설정에서 VDFP는 HalfCheetah-v1에서 최종 수익 5712.55 ± 233.74를 기록하며, DDPG보다 최종 성능에서 2배 이상 뛰어나다.
• 128단계 지연 설정에서도 VDFP는 HalfCheetah-v1에서 수익 4752.84 ± 328.75를 유지하며, DDSR이 효과적으로 학습에 실패하는 것과 비교해 매우 강건한 성능을 보인다.
• 아블레이션 연구 결과, 조건부 VAE나 볼록한 수익 모델을 제거할 경우 성능이 크게 저하됨을 확인하여, 두 구성요소의 중요성을 입증한다.
• Walker2d-v1와 Hopper-v1를 포함한 모든 테스트 환경에서 학습 속도와 최종 성능 양면에서 일관된 우수성을 보였다.
• 오프-폴리시 훈련이 성능 저하를 유발하지 않음을 확인하여, 결정적 정책과 분리된 아키텍처가 온-폴리시 제약을 감소시킴을 시사한다.