[논문 리뷰] Mirror Descent Policy Optimization

Manan Tomar, Lior Shani외 2명|arXiv (Cornell University)|2020. 05. 20.

Reinforcement Learning in Robotics참고 문헌 37인용 수 24

한 줄 요약

이 논문은 거울 강하 원리에서 유도된 통합된 강화학습 알고리즘인 미러 디센트 정책 최적화(MDPO)를 제안한다. MDPO는 다중 기울기 단계를 통해 신뢰영역 정책 업데이트를 근사함으로써, TRPO, PPO, SAC와 비교해 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다. 이는 고성능을 위해 명시적인 신뢰영역 제약 조건이 반드시 필요하지 않음을 시사한다.

ABSTRACT

Mirror descent (MD), a well-known first-order method in constrained convex optimization, has recently been shown as an important tool to analyze trust-region algorithms in reinforcement learning (RL). However, there remains a considerable gap between such theoretically analyzed algorithms and the ones used in practice. Inspired by this, we propose an efficient RL algorithm, called {\em mirror descent policy optimization} (MDPO). MDPO iteratively updates the policy by {\em approximately} solving a trust-region problem, whose objective function consists of two terms: a linearization of the standard RL objective and a proximity term that restricts two consecutive policies to be close to each other. Each update performs this approximation by taking multiple gradient steps on this objective function. We derive {\em on-policy} and {\em off-policy} variants of MDPO, while emphasizing important design choices motivated by the existing theory of MD in RL. We highlight the connections between on-policy MDPO and two popular trust-region RL algorithms: TRPO and PPO, and show that explicitly enforcing the trust-region constraint is in fact {\em not} a necessity for high performance gains in TRPO. We then show how the popular soft actor-critic (SAC) algorithm can be derived by slight modifications of off-policy MDPO. Overall, MDPO is derived from the MD principles, offers a unified approach to viewing a number of popular RL algorithms, and performs better than or on-par with TRPO, PPO, and SAC in a number of continuous control tasks. Code is available at \url{https://github.com/manantomar/Mirror-Descent-Policy-Optimization}.

연구 동기 및 목표

• 이론적으로 탄탄한 신뢰영역 강화학습 알고리즘과 TRPO 및 PPO와 같은 실용적인 딥 강화학습 방법 사이의 격차를 메우기.
• 연속 제어 분야의 정책 최적화를 위한 거울 강하(MD) 원리에 기반한 확장 가능하고 실용적인 강화학습 알고리즘 개발.
• 신뢰영역 제약 조건을 명시적으로 강제하지 않더라도 높은 성능을 달성할 수 있음을 보여주기 위해, 기울기 단계를 통해 비제약 문제를 해결하는 방법 유도.
• TRPO, PPO, SAC와 같은 기존 알고리즘들을 단일한 MD 기반 프레임워크로 통합하여 그 내재적 연결성을 드러내기.
• MuJoCo 벤치마크 환경에서 MDPO가 최신 기술 수준 알고리즘들과 비교해 우월하거나 동등한 성능을 보임을 경험적으로 검증하기.

제안 방법

• MDPO는 각 정책 업데이트를 선형화된 강화학습 목표함수와 Bregman 발산(예: KL 또는 Tsallis 발산) 기반의 근접성 항을 포함하는 신뢰영역 하위문제로 설정한다.
• 신뢰영역 문제를 정확히 해결하는 대신, MDPO는 목표함수에 대해 다중 기울기 단계를 수행함으로써 해를 근사한다.
• 온정책 MDPO는 이전 정책을 근접성 항의 기준으로 사용하며, 발산 유형과 업데이트 메커니즘의 선택을 통해 TRPO 및 PPO와 연결된다.
• 오프정책 MDPO는 균일 정책을 기준으로 사용하여, 발산 및 업데이트 규칙을 수정함으로써 SAC를 직접 유도할 수 있다.
• 알고리즘은 KL과 Tsallis 발산을 모두 지원하며, 후자는 성능 향상을 위한 조정 가능한 하이퍼파라미터 $ q \in [1.0, 2.0] $ 를 제공한다.
• 알고리즘은 온정책 및 오프정책 버전 모두를 구현하며, 재현성과 비교를 위해 코드가 공개되어 있다.

실험 결과

연구 질문

• RQ1 거울 강하 원리를 활용해 TRPO, PPO, SAC를 통합하는 실용적이고 확장 가능한 강화학습 알고리즘을 유도할 수 있는가?
• RQ2 TRPO처럼 신뢰영역 제약 조건을 명시적으로 강제하지 않더라도 딥 강화학습에서 높은 성능을 달성할 수 있는가?
• RQ3 MDPO의 설계 선택 사항—예를 들어 다중 기울기 단계 사용 및 발산 유형 선택—이 최신 기술 수준 알고리즘과 비교해 성능에 어떤 영향을 미치는가?
• RQ4 Tsallis 엔트로피를 사용하는 오프정책 MDPO는 SAC를 초월할 수 있는가? 그리고 $ q $ 하이퍼파라미터는 어떤 역할을 하는가?
• RQ5 기본 구현 및 최적화된 버전을 사용할 때 TRPO, PPO, SAC 간 성능 차이의 원인은 무엇인가?

주요 결과

• 온정책 MDPO는 MuJoCo 벤치마크 세트의 여러 연속 제어 작업에서 TRPO, PPO, SAC를 능가하거나 동등하게 성능을 내며, 전반적으로 뛰어난 성능을 보였다.
• TRPO는 기본 및 최적화된 구성 모두에서 PPO를 일관되게 능가하여, 일반적으로 PPO가 우월하다는 공통적인 믿음을 도전한다.
• MDPO는 명시적인 신뢰영역 제약 조건 없이도 강력한 성능을 달성할 수 있으며, 이는 신뢰영역 목표함수의 기울기 기반 근사를 기반으로 한다.
• Tsallis 엔트로피($ q \in [1.0, 2.0] $)를 사용하는 오프정책 MDPO는 모든 작업에서 SAC를 능가하며, 최적의 $ q $ 값은 환경에 따라 다름을 보였다.
• 오프정책 버전의 MDPO는 샘플 효율성과 최종 성능 면에서 온정책 버전보다 향상되었으며, 일반적인 오프정책 이점과 일치했다.
• SAC는 발산 및 기준 정책을 수정함으로써 오프정책 MDPO의 특수한 경우로 유도될 수 있으며, 이는 SAC에 대한 새로운 최적화 관점 제공.