[논문 리뷰] Distributional Policy Optimization: An Alternative Approach for Continuous Control

Chen Tessler, Guy Tennenholtz외 1명|arXiv (Cornell University)|2019. 05. 23.

Reinforcement Learning in Robotics참고 문헌 36인용 수 15

한 줄 요약

이 논문은 정책 기울기 방법의 한계를 극복하기 위해 동작 공간 내 임의의 분포를 최적화하는 방식으로, 매개변수화된 가족이 아닌 분포 공간에서 최적화하는 데 중점을 두는 새로운 프레임워크인 분포 정책 최적화(DPO)를 제안한다. 양자수회귀와 암묵적 양자수 네트워크를 통해 훈련되는 생성형 액터-크리틱 아키텍처를 사용하여, 명시적 밀도 기울기 없이 MuJoCo 환경에서 최신 기준 수준의 성능을 초과하거나 이를 상회한다.

ABSTRACT

We identify a fundamental problem in policy gradient-based methods in continuous control. As policy gradient methods require the agent's underlying probability distribution, they limit policy representation to parametric distribution classes. We show that optimizing over such sets results in local movement in the action space and thus convergence to sub-optimal solutions. We suggest a novel distributional framework, able to represent arbitrary distribution functions over the continuous action space. Using this framework, we construct a generative scheme, trained using an off-policy actor-critic paradigm, which we call the Generative Actor Critic (GAC). Compared to policy gradient methods, GAC does not require knowledge of the underlying probability distribution, thereby overcoming these limitations. Empirical evaluation shows that our approach is comparable and often surpasses current state-of-the-art baselines in continuous domains.

연구 동기 및 목표

• 정책 기울기 방법이 매개변수화된 분포에 의존함으로써 국소적 개선에 국한되는 연속 제어의 근본적 한계를 해결한다.
• Gaussian, Beta 등 비볼록적인 매개변수화된 정책 가족이 최적해가 아닌 해로 수렴하는 것을 제한하는 문제를 극복한다.
• 연속 동작 공간 내에서 임의의 분포를 최적화할 수 있는 분포 프레임워크를 개발하여 더 넓은 정책 탐색을 보장한다.
• 기본 확률 밀도 함수에 대한 명시적 지식 없이 정책을 학습하는 생성형 액터-크리틱 알고리즘(GAC)을 설계한다.
• 제안된 방법이 연속 제어 벤치마크에서 최신 기준 수준의 정책 기울기 및 SAC 기반 접근법과 비교해 경쟁적 또는 뛰어난 성능을 발휘함을 입증한다.

제안 방법

• 정책을 동작에 대한 분포로 간주하고, 분포 간 거리 최소화를 통한 최적화를 가능하게 하는 분포 정책 최적화(DPO) 프레임워크를 제안한다.
• 오프-폴리시 경험과 양자수회귀를 사용하여 누적분포함수를 근사하는 방식으로, 정책을 분포로 표현하는 생성 모델을 구축한다.
• 크리틱이 동작가치 함수를 추정하고, 이점 함수를 사용하여 음수 이점이 있는 동작을 선호하는 목표 분포를 정의하는 액터-크리틱 아키텍처를 사용한다.
• 자기회귀적 암묵적 양자수 네트워크(AIQN)를 사용하여 생성 정책을 모델링함으로써, 명시적 밀도 계산 없이도 미분 가능 샘플링과 분포 표현을 가능하게 한다.
• 이점 기반 동작 선택에서 유도된 목표 분포와 예측 분포가 일치하도록 하는 양자수회귀 손실을 최소화하여 생성 정책을 훈련한다.
• 정책 최적화를 명시적 로그-밀도 기울기에서 분리하여, 정책 기울기 방법에 내재된 국소적 업데이트 역학을 피한다.

실험 결과

연구 질문

• RQ1 매개변수화된 분포 가족에 국한되어 국소적 업데이트에 제약을 받는 정책 기울기 방법의 한계를 넘어서면, 연속 제어에서 정책 최적화가 향상될 수 있는가?
• RQ2 동작 공간 내에서 임의의 분포를 최적화하는 분포 프레임워크는 기존 정책 기울기 방법보다 더 나은 수렴성과 성능을 보일 수 있는가?
• RQ3 양자수회귀와 암묵적 밀도 모델링을 통해 훈련되는 생성형 액터-크리틱 접근법은 기존 최신 기준 수준의 방법보다 연속 제어 과제에서 뛰어난 성능을 발휘할 수 있는가?
• RQ4 제안된 방법이 비볼록적인 연속 제어 문제에서 정책 기울기 방법의 국소 최적해 수렴 문제를 어느 정도 완화할 수 있는가?
• RQ5 제안된 방법의 계산 복잡도는 기존 정책 기울기 및 SAC 기반 접근법과 비교해 어떻게 되며, 실세계 구현을 위해 향상시킬 수 있는가?

주요 결과

• 제안된 생성형 액터-크리틱(GAC) 방법은 MuJoCo 연속 제어 벤치마크에서 최신 기준 수준의 정책 기울기 및 SAC 기반 기준보다 비교적 우수하거나 동등한 성능을 발휘한다.
• 매개변수화된 가족이 아닌 임의의 분포를 최적화함으로써, Gaussian 또는 Beta와 같은 비볼록 분포에 의해 제약을 받는 정책 기울기 방법의 국소 개선 함정을 피할 수 있다.
• 정책의 확률 밀도 함수를 명시적으로 계산할 필요 없이, 더 유연하고 전역적인 정책 업데이트를 가능하게 한다.
• 개선된 이론적 성질에도 불구하고, GAC는 생성 모델링과 양자수회귀 구성 요소로 인해 표준 정책 기울기 방법보다 높은 계산 복잡도를 보인다.
• 이 프레임워크는 신뢰 영역 최적화 및 엔트로피 정규화와 같은 기존 개선 기법과 호환되며, Soft Actor-Critic과 같은 알고리즘과의 통합 가능성을 시사한다.
• 실증 결과는 GAC가 복잡한 비볼록 동작 공간을 효과적으로 탐색하고, 혼합 모델에서 흔히 발생하는 수치적 불안정성에 의존하지 않고 안정적인 학습을 달성할 수 있음을 보여준다.