[논문 리뷰] Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning

Yaqi Duan, Chi Jin외 1명|arXiv (Cornell University)|2021. 03. 25.

Reinforcement Learning in Robotics참고 문헌 14인용 수 14

한 줄 요약

이 논문은 최소한의 가정 하에 일반화 성능을 특성화하기 위해 Rademacher 복잡도를 사용하여 배치 강화 학습의 위험 한계를 수립한다. 이중 샘플링에서는 경험적 위험 최소화의 초과 위험이 Rademacher 복잡도로 유계임을 보이며, 단일 샘플링에서는 FQI 및 최소최대 스타일 알고리즘에 대해 완전성 가정 하에 이러한 한계가 성립함을 보이고, 국소 Rademacher 복잡도를 통해 빠른 수률을 달성할 수 있음을 밝힌다.

ABSTRACT

This paper considers batch Reinforcement Learning (RL) with general value function approximation. Our study investigates the minimal assumptions to reliably estimate/minimize Bellman error, and characterizes the generalization performance by (local) Rademacher complexities of general function classes, which makes initial steps in bridging the gap between statistical learning theory and batch RL. Concretely, we view the Bellman error as a surrogate loss for the optimality gap, and prove the followings: (1) In double sampling regime, the excess risk of Empirical Risk Minimizer (ERM) is bounded by the Rademacher complexity of the function class. (2) In the single sampling regime, sample-efficient risk minimization is not possible without further assumptions, regardless of algorithms. However, with completeness assumptions, the excess risk of FQI and a minimax style algorithm can be again bounded by the Rademacher complexity of the corresponding function classes. (3) Fast statistical rates can be achieved by using tools of local Rademacher complexity. Our analysis covers a wide range of function classes, including finite classes, linear spaces, kernel spaces, sparse linear features, etc.

연구 동기 및 목표

• 일반화 성능을 Rademacher 복잡도로 분석함으로써 통계학적 학습 이론과 배치 강화 학습을 연결한다.
• 배치 RL에서 신뢰할 수 있는 Bellman 오차 추정 및 최소화를 위한 최소한의 가정을 규명한다.
• 일반적인 함수 클래스를 사용하여 지도학습의 위험 한계를 가치 함수 근사화에 확장한다.
• Bellman 오차가 최적성 갭의 타당한 서로서브(loss)로 기능할 수 있는 조건을 수립한다.
• 국소 Rademacher 복잡도 도구를 사용하여 빠른 통계 수률을 도출한다.

제안 방법

• 가치 함수 근사화에서 최적성 갭의 서로서브 손실로 Bellman 오차를 다룬다.
• 이중 샘플링 환경에서 경험적 위험 최소화(ERM)를 사용하여 초과 위험을 Rademacher 복잡도로 유계화한다.
• 단일 샘플링 환경을 분석하고, 완전성 가정이 없을 경우 샘플 비효율성이 발생함을 증명한다.
• 완전성 가정을 적용하여 FQI 및 최소최대 스타일 알고리즘에 대해 각각의 함수 클래스의 Rademacher 복잡도 한계를 복원한다.
• 국소 Rademacher 복잡도를 사용하여 빠른 통계 수률을 달성한다.
• Rademacher 복잡도의 수축 성질을 활용하여 비선형 함수 클래스를 다룬다.

실험 결과

연구 질문

• RQ1 배치 RL에서 Bellman 오차를 신뢰할 만하게 최소화할 수 있는 최소한의 가정은 무엇인가?
• RQ2 일반적인 함수 클래스 하에서 Rademacher 복잡도가 배치 RL 알고리즘의 초과 위험을 유계로 만들 수 있는가?
• RQ3 추가 가정 없이 단일 샘플링에서 샘플 효율적인 위험 최소화가 불가능한 이유는 무엇인가?
• RQ4 완전성 가정이 단일 샘플링에서 일반화 보장을 복원하는 방식은 무엇인가?
• RQ5 국소 Rademacher 복잡도가 배치 RL에서 빠른 통계 수률을 도출할 수 있는가?

주요 결과

• 이중 샘플링 환경에서는 거의 모든 가정 없이도 ERM의 초과 위험이 함수 클래스의 Rademacher 복잡도로 유계임을 보였다.
• 단일 샘플링에서는 완전성 가정이 성립하지 않을 경우 다항 수준의 샘플 스케일링 없이도 어떤 알고리즘도 작은 초과 위험을 달성할 수 없다.
• 완전성 조건 하에서는 FQI 및 최소최대 스타일 알고리즘의 초과 위험이 각각의 함수 클래스의 Rademacher 복잡도로 유계임을 보였다.
• 국소 Rademacher 복잡도 도구를 사용하여 빠른 통계 수률을 달성할 수 있었다.
• 분석은 유한 클래스, 선형 공간, 커널 공간, 희소 선형 특징 등 다양한 함수 클래스에 적용 가능했다.
• 결과적으로 통계학적 학습 이론과 배치 RL을 Rademacher 복잡도를 통해 연결하는 이론적 기반을 수립했다.