[논문 리뷰] Beyond the One Step Greedy Approach in Reinforcement Learning

Yonathan Efroni, Gal Dalal외 2명|arXiv (Cornell University)|2018. 02. 10.

Reinforcement Learning in Robotics참고 문헌 26인용 수 12

한 줄 요약

이 논문은 강화학습에서 다단계 탐욕 정책 개선에 대한 엄밀한 이론적 프레임워크를 제안하며, 기존의 한 단계 정책 반복을 일반화한 $h$-PI 및 $\kappa$-PI 알고리즘을 제안한다. 최적 정책 수렴를 증명하고, 최근 성공한 알고리즘들인 알파-고와 PPO가 이 통합된 시각 안에 포함됨을 보이며, 정책 개선 시의 제어된 라우팅을 통해 더 높은 샘플 효율성과 성능을 갖춘 새로운 RL 알고리즘 설계를 원칙적으로 가능하게 한다.

ABSTRACT

The famous Policy Iteration algorithm alternates between policy improvement and policy evaluation. Implementations of this algorithm with several variants of the latter evaluation stage, e.g, $n$-step and trace-based returns, have been analyzed in previous works. However, the case of multiple-step lookahead policy improvement, despite the recent increase in empirical evidence of its strength, has to our knowledge not been carefully analyzed yet. In this work, we introduce the first such analysis. Namely, we formulate variants of multiple-step policy improvement, derive new algorithms using these definitions and prove their convergence. Moreover, we show that recent prominent Reinforcement Learning algorithms are, in fact, instances of our framework. We thus shed light on their empirical success and give a recipe for deriving new algorithms for future study.

연구 동기 및 목표

• 다단계 탐욕 정책 개선에 대한 이론적 분석의 부족을 해결하고자 하며, 그에 비해 강력한 경험적 증거가 존재함을 고려한다.
• 정책 개선 중에 $h$ 단계를 앞서 보는 $h$-탐욕 정책을 체계화하고 분석하고자 한다.
• 1단계와 무한수렴 탐욕 정책 개선 사이를 연결하는 연속적 파라미터 $\kappa \in [0,1]$을 도입하여, 라우팅 깊이에 대한 매끄러운 트레이드오프를 가능하게 한다.
• 최근의 강화학습에서의 경험적 성공들—알파-고의 몬테카를로 트리 탐색과 PPO—을 하나의 이론적 프레임워크로 통합하고자 한다.
• 제어된 정책 개선 깊이를 기반으로 새로운, 수렴성이 보장된 강화학습 알고리즘을 유도하는 방법론을 제공하고자 한다.

제안 방법

• 표준 1단계 탐욕 정책을 일반화하여, $h$-단계 라우팅 가치 추정에 기반해 행동을 선택하는 $h$-탐욕 정책을 정의한다.
• $h$-단계 정책 개선과 정책 평가를 번갈아 수행하는 $h$-PI 알고리즘을 제안하고, 최적 정책 수렴성을 증명한다.
• $\kappa$에 의해 제어되는 새로운 최적 벨만 연산자를 통해 $\kappa$-탐욕 정책을 도입하며, $\kappa=0$일 땐 1단계 탐욕 정책을 복원하고 $\kappa=1$일 땐 최적 정책을 도출한다.
• $\kappa$-탐욕 정책을 계산하는 것이 $\kappa\gamma$-할인된 정적 MDP를 푸는 것과 동치임을 보이며, 표준 값 반복을 통해 효율적인 계산이 가능함을 보인다.
• $\kappa$ 기반 개선과 $\lambda$-완화된 평가를 결합한 $\kappa\lambda$-PI를 도입하며, $\kappa$(개선 깊이)와 $\lambda$(평가 깊이)의 역할을 명확히 분리한다.
• 수축 원리와 연산자 분석을 이용해 모든 제안된 알고리즘의 이론적 수렴 보장을 확립하며, 근사 오차와 정책 가치 감쇠에 대한 경계도 제시한다.

실험 결과

연구 질문

• RQ1 다단계 탐욕 정책 개선이 엄밀하게 분석되고 최적 정책 수렴성을 증명할 수 있는가?
• RQ2 연속적 파라미터 $\kappa$를 이론적으로 타당하게 사용하여 1단계와 무한수렴 탐욕 정책 개선 사이를 보간할 수 있는가?
• RQ3 최근 높은 성능을 내는 강화학습 알고리즘들—알파-고와 PPO—이 제안된 $\kappa$-탐욕 프레임워크에 의해 포괄되는 원리에 얼마나 의존하는가?
• RQ4 정책 반복에서 $\kappa$(개선 깊이)와 $\lambda$(평가 깊이)의 이론적 역할은 어떻게 다를 수 있는가?
• RQ5 제안된 프레임워크를 사용해 샘플 효율성이 향상된 새로운, 수렴성이 보장된 강화학습 알고리즘을 도출할 수 있는가?

주요 결과

• $h$-PI 알고리즘은 $h$-단계 탐욕 정책 개선을 사용하며, 임의의 유한한 $h \geq 1$에 대해 최적 정책으로 수렴함을 증명하였다.
• $\kappa$-탐욕 정책이 $\kappa\gamma$-할인된 MDP를 푸는 것과 동치임을 보이며, 표준 값 반복을 통해 효율적인 계산이 가능하다.
• $\kappa$-PI 알고리즘은 최적 정책으로 수렴하며, $\kappa=0$일 땐 표준 1단계 탐욕 정책을 복원하고 $\kappa=1$일 땐 최적 정책을 도출한다.
• $\kappa\lambda$-PI 알고리즘은 $\kappa$ 기반 개선과 $\lambda$-완화된 평가를 결합하여, 개선 깊이와 평가 깊이의 역할을 명확히 분리함을 보였다.
• 경험적 결과는 $\kappa$와 $h$의 비트리비얼한 선택이 기본 계획 과제에서 표준 1단계 방법보다 더 뛰어난 성능을 내는 데 기여함을 보였다.
• 이론적 프레임워크는 알파-고와 PPO와 같은 다양한 경험적 성공 사례를 통합하며, 이들이 암묵적으로 정책 개선 시 다단계 라우팅을 사용하고 있음을 보여준다.