[논문 리뷰] Quinoa: a Q-function You Infer Normalized Over Actions

Jonas Degrave, Abbas Abdolmaleki외 3명|arXiv (Cornell University)|2019. 11. 05.

Control Systems and Identification참고 문헌 15인용 수 4

한 줄 요약

Quinoa는 오프-폴리시 액터-크리틱 알고리즘에서 별도의 정책 최적화 단계가 필요 없도록 하는 새로운 강화학습 알고리즘을 제안한다. 이 알고리즘은 정규화 흐름 정책을 사용하여 소프트 Q함수를 학습함으로써, 반복적인 정책 최적화 없이도 닫힘 형태의 최적 정책 추론을 가능하게 한다. 정규화 흐름을 활용해 복잡하고 다중모달인 행동 분포를 모델링함으로써 학습을 단순화하고, 최신 기법들과 비교하여 유사한 성능을 달성하면서도 연속 제어 과제에서 풍부하고 비정규분포 탐색을 가능하게 한다.

ABSTRACT

We present an algorithm for learning an approximate action-value soft Q-function in the relative entropy regularised reinforcement learning setting, for which an optimal improved policy can be recovered in closed form. We use recent advances in normalising flows for parametrising the policy together with a learned value-function; and show how this combination can be used to implicitly represent Q-values of an arbitrary policy in continuous action space. Using simple temporal difference learning on the Q-values then leads to a unified objective for policy and value learning. We show how this approach considerably simplifies standard Actor-Critic off-policy algorithms, removing the need for a policy optimisation step. We perform experiments on a range of established reinforcement learning benchmarks, demonstrating that our approach allows for complex, multimodal policy distributions in continuous action spaces, while keeping the process of sampling from the policy both fast and exact.

연구 동기 및 목표

• 오프-폴리시 액터-크리틱 알고리즘에서 별도의 정책 최적화 단계가 필요 없도록 하는 것.
• 연속 행동 공간에서 복잡하고 다중모달인 정책에서 정확하고 빠른 샘플링을 가능하게 하는 것.
• 시간 차분 학습을 통해 가치 함수와 정책을 동시에 최적화하는 통합된 학습 목표를 개발하는 것.
• 정규화 흐름을 사용해 임의의 표현력 있는 정책 분포를 지원하면서도 닫힘 형태의 최적 정책 추론을 유지하는 것.
• 연속 제어 벤치마크에서 정책 표현력 향상과 학습 안정성 향상을 입증하는 것.

제안 방법

• 상대 엔트로피 정규화된 강화학습 목표를 사용하여, 닫힘 형태의 최적 정책 유도를 지원하는 소프트 Q함수를 정의한다.
• 특히 Real NVP를 사용한 정규화 흐름을 상태 조건부로 파arameter화하여, 보편적인 밀도 근사가 가능하도록 한다.
• 재플라이 버퍼 전이에서 제곱 TD 오차를 최소화함으로써 시간 차분 학습을 통해 소프트 Q함수를 학습한다.
• 최적 정책는 행동에 대해 소프트 Q함수를 정규화함으로써 도출되며, 반복적인 정책 최적화가 필요 없어진다.
• 가치 함수와 정책는 타겟 네트워크와 기울기 클리핑을 사용해 공동으로 학습함으로써 학습을 안정화시킨다.
• 이 방법은 복잡한 분포를 가진 정책에서 정확하고 효율적인 샘플링을 가능하게 하며, 비정규분포, 다중모달, 기울어진 행동 분포를 지원한다.

실험 결과

연구 질문

• RQ1 반복적인 최적화 없이도 최적 정책를 닫힘 형태로 도출할 수 있도록 소프트 Q함수를 학습시킬 수 있는가?
• RQ2 정규화 흐름을 통해 연속 제어에서 표현력 있고 다중모달인 정책를 구현하면서도 효율적인 샘플링과 학습을 유지할 수 있는가?
• RQ3 정책 최적화 단계를 제거함으로써 연속 제어 벤치마크에서 학습 안정성과 성능 향상이 이루어지는가?
• RQ4 SVG(0)과 같은 최신 알고리즘과 유사한 성능을 달성하면서도 더 풍부한 정책 분포를 지원할 수 있는가?
• RQ5 학습된 정책는 표준 정규분포 정책과 비교해 어떤 구조적 차이를 보이는가(예: 다중모달, 비정규분포)?

주요 결과

• Quinoa는 딥마인드 컨트롤 스위트의 Cheetah 및 Walker 과제에서 SVG(0)과 유사한 성능를 보이며, Hopper 과제에서는 약간 낮은 성능를 기록한다.
• Quinoa가 학습한 정책는 비정규분포 행동을 보이며, 높은 왜도, 비선형적으로 상관된 노이즈, 행동 공간 내 유한한 지지역을 포함한다.
• 특정 상태, 예를 들어 Walker 환경에서는 정책가 행동 공간의 여러 모서리에서 탐색하는 다중모달 행동을 보인다.
• 일부 행동 차원은 학습 도중 붕괴되지만, 다른 차원은 엔트로피와 탐색을 유지하기 위해 고분산 상태를 유지한다.
• 정규화 흐름의 역행성 덕분에 복잡한 분포에서도 정책에서 정확하고 빠른 샘플링이 가능하다.
• 닫힘 형태의 정책 추론으로 인해 별도의 정책 최적화 단계가 필요 없어져 학습 파이프라인의 단순화가 가능하다.