[논문 리뷰] Greedification Operators for Policy Optimization: Investigating Forward and Reverse KL Divergences

Alan Chan, Hugo Silva외 4명|arXiv (Cornell University)|2021. 07. 17.

Reinforcement Learning in Robotics참고 문헌 90인용 수 9

한 줄 요약

이 논문은 근사 정책 반복에서 탐욕 정책 개선을 분석함으로써 행동 가치에 대한 보르츠만 분포와 파arameterized 정책 간의 전진 및 역방향 KL 발산을 조사한다. 역방향 KL은 더 강력한 정책 개선 보장을 제공하는 반면, 전진 KL은 추가적인 가정 하에 충분히 감소하지 않는 한 성능을 떨어뜨릴 수 있으며, 실험 결과는 전진 KL이 더 많은 탐색을 유도하지만 연속 제어 과제에서는 최적화되지 않은 정책을 초래함을 보여준다.

ABSTRACT

Approximate Policy Iteration (API) algorithms alternate between (approximate) policy evaluation and (approximate) greedification. Many different approaches have been explored for approximate policy evaluation, but less is understood about approximate greedification and what choices guarantee policy improvement. In this work, we investigate approximate greedification when reducing the KL divergence between the parameterized policy and the Boltzmann distribution over action values. In particular, we investigate the difference between the forward and reverse KL divergences, with varying degrees of entropy regularization. We show that the reverse KL has stronger policy improvement guarantees, but that reducing the forward KL can result in a worse policy. We also demonstrate, however, that a large enough reduction of the forward KL can induce improvement under additional assumptions. Empirically, we show on simple continuous-action environments that the forward KL can induce more exploration, but at the cost of a more suboptimal policy. No significant differences were observed in the discrete-action setting or on a suite of benchmark problems. Throughout, we highlight that many policy gradient methods can be seen as an instance of API, with either the forward or reverse KL for the policy update, and discuss next steps for understanding and improving our policy optimization algorithms.

연구 동기 및 목표

• 전진 및 역방향 KL 발산을 사용한 근사 탐욕화의 이론적 및 실증적 영향을 이해하기 위해.
• 전진 KL 감소가 언제 정책 개선을 이끌고, 언제 성능을 떨어뜨릴 수 있는지 조건을 규명하기 위해.
• 연속 동작 환경에서 전진 및 역방향 KL 간의 탐색 및 성능 트레이드오프를 비교하기 위해.
• 정책 기울기 방법과 근사 정책 반복 간의 관계를 명확히 하며, 특히 KL 기반 탐욕화의 맥락에서 설명하기 위해.
• KL 발산 기반 탐욕화를 활용한 더 나은 정책 최적화 알고리즘 설계를 위한 이론적 및 실증적 지침을 제공하기 위해.

제안 방법

• 저자들은 근사 탐욕화를 행동 가치에 대한 보르츠만 분포와 파arameterized 정책 간의 KL 발산 최소화로 수식화한다.
• 정책 개선을 위한 최적화 목표로 전진 KL(D_F)과 역방향 KL(D_R) 발산을 모두 분석한다.
• 이론적 분석을 통해 각 발산이 정책 개선을 보장하는 조건을 도출하며, 역방향 KL이 더 강력한 보장을 가짐을 입증한다.
• 연속 제어 환경에서 파arameterized 정책과 가치 함수 근사화를 사용하여 실증 평가를 수행한다.
• 에ント로피 정규화 유무에 따라 전진 및 역방향 KL 최소화 하에서의 정책 성능와 탐색 행동을 비교한다.
• f-발산 부등식을 사용하여 이론적 경계를 유도하며, 이는 워샤르-또는 JS 발산과 같은 다른 발산으로의 확장 가능성을 시사한다.

실험 결과

연구 질문

• RQ1 정책과 보르츠만 분포 간의 전진 KL 발산을 최소화하는 것이 보장된 정책 개선을 이끌까?
• RQ2 정책 개선 보장 측면에서 역방향 KL 발산은 전진 KL 발산보다 어떻게 다를까?
• RQ3 에ント로피 정규화는 전진 대비 역방향 KL을 통해 최적화된 정책의 행동과 성능에 어떤 영향을 미치는가?
• RQ4 왜 전진 KL은 연속 동작 과제에서 더 많은 탐색을 유도하지만 최종 성능은 열 劣한가?
• RQ5 기본 설정 외 추가 가정 하에 전진 KL 최소화가 여전히 정책 개선을 이끌 수 있는가?

주요 결과

• 역방향 KL 최소화는 표준 가정 하에 단조적 개선을 보장하는 더 강력한 이론적 보장을 제공한다.
• 전진 KL 최소화는 정책의 엔트로피를 낮추고 최적화되지 않은 행동으로 몰고가므로 성능 악화를 초래할 수 있다.
• 전진 KL이 충분히 감소하면 추가 가정(예: 유계 행동 가치 추정) 하에 여전히 정책 개선을 이끌 수 있다.
• 연속 동작 환경에서는 전진 KL이 더 많은 탐색을 유도하지만, 역방향 KL 대비 상당히 열 劣한 최종 정책 성능을 보인다.
• 이산 동작 설정 또는 표준 벤치마크 환경에서는 전진 및 역방향 KL 간에 성능에 유의미한 차이가 관찰되지 않았다.
• 이론적 분석은 역방향 KL의 더 강력한 개선 보장이 정책과 목표 분포 간의 지지 집합 불일치에 민감하기 때문임을 시사한다.