[논문 리뷰] Bilinear Classes: A Structural Framework for Provable Generalization in RL

Simon S. Du, Sham M. Kakade외 5명|arXiv (Cornell University)|2021. 03. 19.

Reinforcement Learning in Robotics참고 문헌 41인용 수 21

한 줄 요약

이 논문은 함수 근사화를 통한 증명 가능한 표본 효율성 강화학습을 가능하게 하는 새로운 구조적 프레임워크인 Bilinear Classes를 제안한다. 벨만 오차를 이중형식으로 모델링함으로써, 이 프레임워크는 기존의 효율적인 강화학습 모델들을 통합하고, 새로운 모델들—예를 들어 선형 $Q^*/V^*$ 및 RKHS 기반 모델—을 도입하며, 지도학습 일반화 오차에 의존하는 다항식 표본 복잡도를 달성한다. 이는 정보 이론적 척도를 통해 무한차원 설정으로까지 확장된다.

ABSTRACT

This work introduces Bilinear Classes, a new structural framework, which permit generalization in reinforcement learning in a wide variety of settings through the use of function approximation. The framework incorporates nearly all existing models in which a polynomial sample complexity is achievable, and, notably, also includes new models, such as the Linear $Q^*/V^*$ model in which both the optimal $Q$-function and the optimal $V$-function are linear in some known feature space. Our main result provides an RL algorithm which has polynomial sample complexity for Bilinear Classes; notably, this sample complexity is stated in terms of a reduction to the generalization error of an underlying supervised learning sub-problem. These bounds nearly match the best known sample complexity bounds for existing models. Furthermore, this framework also extends to the infinite dimensional (RKHS) setting: for the the Linear $Q^*/V^*$ model, linear MDPs, and linear mixture MDPs, we provide sample complexities that have no explicit dependence on the explicit feature dimension (which could be infinite), but instead depends only on information theoretic quantities.

연구 동기 및 목표

• 증명 가능한 표본 효율성을 갖는 광범위한 강화학습 모델을 포괄하는 일반적인 구조적 프레임워크를 개발하기 위해.
• 기존의 효율적인 강화학습 프레임워크—예를 들어 벨만 랭크, 워치맨 랭크, 벨만 완비—를 하나의 더 일반적인 조건 아래 통합하기 위해.
• 기존 프레임워크가 실패하는 새로운 모델 클래스, 예를 들어 선형 $Q^*/V^*$ 및 RKHS 기반 MDP에 대한 표본 효율성을 확장하기 위해.
• 표본 복잡도가 지도학습 일반화 오차에 의존하는 결과를 제공함으로써, 다양한 함수 근사 설정에 걸쳐 전이 가능한 분석을 가능하게 하기 위해.
• 유한차원 결과를 정보 이론적 척도—예를 들어 임계 정보 증가량—를 사용하여 무한차원 함수 공간으로 확장하기 위해.

제안 방법

• Bellman 오차가 가설 클래스의 함수와 판별 클래스의 함수 사이의 이중형식으로 표현될 수 있는 구조적 조건인 Bilinear Classes를 제안한다.
• Bellman 오차를 이중형식 구조에서 유도된 신뢰구간을 활용해 최소화하는 BiLin-UCB 알고리즘을 설계한다.
• 강화학습의 표본 복잡도를 지도학습 하位 문제의 일반화 오차로 감소시켜, 기존의 일반화 경계 전이가 가능하도록 한다.
• 무한차원 설정에서 특징 차원 의존성을 제거하기 위해 비모수적 복잡도 척도인 임계 정보 증가량을 도입한다.
• 선형 $Q^*/V^*$, RKHS 선형 MDP, 선형 혼합 MDP 등 새로운 모델들에 프레임워크를 적용하여, 명시적 특징 차원에 의존하지 않는 표본 복잡도 경계를 도출한다.
• 기존의 프레임워크(예: 벨만 랭크, 워치맨 랭크)를 포함하고, 이들로 포괄되지 않는 모델들—예를 들어 인과 MDP 및 저점유 복잡도 MDP—로까지 확장됨을 보여준다.

실험 결과

연구 질문

• RQ1 단일 구조적 프레임워크가 기존의 증명 가능한 표본 효율성 강화학습 모델들을 통합하고 새로운 모델들로까지 확장할 수 있는가?
• RQ2 다양한 함수 근사 설정에 적용 가능한 방식으로, 강화학습의 표본 복잡도를 지도학습 일반화 오차로 감소시킬 수 있는가?
• RQ3 특징 차원에 명시적인 의존성이 없이도 무한차원 함수 공간(예: RKHS)에서 표본 효율성을 달성할 수 있는가?
• RQ4 선형 $Q^*/V^*$와 같은 새로운 모델 클래스는 이 프레임워크 하에서 증명 가능하게 학습 가능하지만, 이전의 프레임워크에서는 학습이 불가능한가?
• RQ5 벨만 랭크나 워치맨 랭크로 포괄되지 않는 모델들—예를 들어 인과 MDP나 저점유 복잡도 MDP—을 프레임워크가 포괄할 수 있는가?

주요 결과

• Bilinear Classes 프레임워크는 벨만 랭크와 워치맨 랭크를 일반화하며, 다항식 표본 복잡도를 갖는 모든 알려진 모델 클래스를 포함한다.
• BiLin-UCB 알고리즘은 지도학습 하위 문제의 일반화 오차에만 의존하는 다항식 표본 복잡도를 달성한다.
• 선형 $Q^*/V^*$, 선형 MDP, 선형 혼합 MDP의 경우, 표본 복잡도 경계가 명시적 특징 차원에 의존하지 않고 임계 정보 증가량과 같은 정보 이론적 척도에 의존한다.
• 프레임워크는 무한차원 RKHS 설정으로까지 확장되어, 명시적 차원 의존성이 없는 비모수적 일반화를 가능하게 한다.
• 프레임워크는 이전의 프레임워크로는 커버되지 않았던 새로운 모델인 선형 $Q^*/V^*$ 모델을 포괄하며, 이는 이 프레임워크 하에서 증명 가능하게 학습 가능한 것으로 밝혀졌다.
• 이론적 분석을 통해 프레임워크는 벨만 랭크나 워치맨 랭크로 포괄되지 않는 모델들—예를 들어 인과 MDP 및 저점유 복잡도 MDP—를 포함하고 있으며, 이러한 경우에서 이전 방법보다 더 날카운 표본 복잡도 경계를 제공한다.