[논문 리뷰] Cautiously Optimistic Policy Optimization and Exploration with Linear Function Approximation

Andrea Zanette, Ching-An Cheng외 1명|arXiv (Cornell University)|2021. 03. 24.

Advanced Bandit Algorithms Research참고 문헌 60인용 수 7

한 줄 요약

이 논문은 선형 함수 근사와 함께 강화학습에서 샘플 효율성을 향상시키기 위해 경계적 낙관주의—최적의 MDP 내에서 낙관적인 가치 추정을 사용하는 방식—과 적응적 MDP 업데이트를 조합한 새로운 정책 최적화 알고리즘 Copoe를 제안한다. 이는 Pc-Pg의 샘플 복잡도 Õ(1/ε¹¹)을 Õ(1/ε³)으로 감소시켜, 값 기반 방법과 거의 동일한 성능를 달성하면서도 모델 부정확성에 대한 강건성을 유지한다.

ABSTRACT

Policy optimization methods are popular reinforcement learning algorithms, because their incremental and on-policy nature makes them more stable than the value-based counterparts. However, the same properties also make them slow to converge and sample inefficient, as the on-policy requirement precludes data reuse and the incremental updates couple large iteration complexity into the sample complexity. These characteristics have been observed in experiments as well as in theory in the recent work of~\citet{agarwal2020pc}, which provides a policy optimization method PCPG that can robustly find near optimal polices for approximately linear Markov decision processes but suffers from an extremely poor sample complexity compared with value-based techniques. In this paper, we propose a new algorithm, COPOE, that overcomes the sample complexity issue of PCPG while retaining its robustness to model misspecification. Compared with PCPG, COPOE makes several important algorithmic enhancements, such as enabling data reuse, and uses more refined analysis techniques, which we expect to be more broadly applicable to designing new reinforcement learning algorithms. The result is an improvement in sample complexity from $\widetilde{O}(1/ε^{11})$ for PCPG to $\widetilde{O}(1/ε^3)$ for PCPG, nearly bridging the gap with value-based techniques.

연구 동기 및 목표

• 모델 부정확성이 존재하는 상황에서 정책 최적화 방법의 열악한 샘플 복잡도를 해결한다.
• Pc-Pg와 같은 기존 알고리즘에서 모델 오차에 대한 강건성과 샘플 효율성 사이의 상충 관계를 극복한다.
• 근사 선형 MDP 가정에 대해 강건성을 유지하면서도 샘플 효율성이 크게 향상된 증명 가능한 효율성 알고리즘을 설계한다.
• 적응적 MDP 구축을 통해 데이터 재사용을 가능하게 하고 정책 최적화에서의 중복 데이터 수집을 줄인다.
• 정책 기반과 값 기반 강화학습 방법 간의 샘플 복잡도 격차를 좁히되, 강건성을 손상시키지 않는다.

제안 방법

• 최적의 MDP 내에서 낙관적인 가치 추정을 사용하는 경계적 낙관주의를 도입하여, 가치 추정에서 한 방향 오차를 보장한다.
• 최적의 MDP를 구성하기 위한 적응적 스케줄을 구현하여, 데이터 기반 기준에 따라 반복마다 샘플 수를 동적으로 조정한다.
• Pc-Pg에서 고정된 $O(N)$ 데이터 수집 라운드를 $O(d\log N)$ 라운드로 대체하며, 여기서 $d$는 특징 차원이다.
• 안정적이고 효율적인 정책 향상을 보장하기 위해 최적의 MDP 프레임워크 내에서 자연 정책 그래เดียน트 업데이트를 활용한다.
• 학습 안정성 향상과 함수 근사 하에서의 일반화 향상을 위해 중요도 샘플링 및 미러 디센트 기법을 사용한다.
• 선형 회귀의 농도 경계 및 통계적 속도 분석을 포함한 정교한 이론적 분석을 통해 더 날카운 샘플 복잡도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 모델 부정확성에 대해 강건성을 유지하면서도 샘플 복잡도를 크게 향상시킬 수 있는 정책 최적화 알고리즘을 설계할 수 있는가?
• RQ2 최적의 MDP 내에서의 낙관적인 가치 추정을 사용하는 경계적 낙관주의는 오차 전파를 어떻게 줄이고 샘플 효율성을 향상시킬 수 있는가?
• RQ3 어떤 적응적 데이터 수집 전략이 정책 최적화에서의 중복 샘플링을 줄이면서도 수렴 보장을 유지할 수 있는가?
• RQ4 근사 선형 MDP 가정 하에서 정책 최적화의 샘플 복잡도는 얼마나 줄일 수 있으며, 강건성을 잃지 않을 수 있는가?
• RQ5 값 기반 방법과 거의 동일한 샘플 복잡도를 달성하기 위해 정책 최적화의 이론적 분석을 어떻게 정교화할 수 있는가?

주요 결과

• Copoe는 Pc-Pg에서 $\epsilon$-최적 정책을 찾는 데 필요한 샘플 복잡도를 $\widetilde{O}(1/\epsilon^{11})$ 에서 $\widetilde{O}(1/\epsilon^3)$ 으로 감소시켜, 값 기반 방법과 거의 동일한 성능를 달성한다.
• 이 개선은 오차 전파를 제한하여 한 방향 추정 오차를 보장하는 경계적 낙관주의 덕분이다.
• 적응적 MDP 업데이트 스케줄 덕분에 데이터 수집 라운드 수가 $O(N)$ 에서 $O(d\log N)$ 로 감소하여 데이터 재사용을 크게 향상시키고 중복을 줄였다.
• Copoe는 모델 부정확성에 대해 강건성을 유지하며, 성능 저하가 $\ell_\infty$-유계 변동이 아닌 평균 오차(전이 오차)에 따라 결정된다.
• 이론적 분석을 통해 Copoe의 샘플 복잡도가 근사 선형 MDP 가정 하에서 거의 최적이며, 날카운 농도 경계와 회귀 오차 경계를 확보함을 확인했다.
• 이 방법은 효율적인 데이터 재사용을 가능하게 하며, Pc-Pg에서의 주요 병목 현상이었던 유사한 최적의 MDP를 반복적으로 해결하는 것을 피한다.