[논문 리뷰] On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces

Zhuoran Yang, Chi Jin외 3명|arXiv (Cornell University)|2020. 11. 09.

Adversarial Robustness in Machine Learning인용 수 1

한 줄 요약

이 논문은 강화학습에서 커널 또는 과다파rameter화된 신경망 함수 근사기와 함께 최적의 최소 제곱가치 반복 알고리즘을 제안한다. 상태 공간 크기와 무관하게 $\tilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$의 정규화된 손실 경계를 확보하며, 다항 시간 복잡도와 샘플 복잡도를 확립함으로써, 대규모 강화학습에서 함수 근사의 이론적 이점을 입증한다.

ABSTRACT

The classical theory of reinforcement learning (RL) has focused on tabular and linear representations of value functions. Further progress hinges on combining RL with modern function approximators such as kernel functions and deep neural networks, and indeed there have been many empirical successes that have exploited such combinations in large-scale applications. There are profound challenges, however, in developing a theory to support this enterprise, most notably the need to take into consideration the exploration-exploitation tradeoff at the core of RL in conjunction with the computational and statistical tradeoffs that arise in modern function-approximation-based learning systems. We approach these challenges by studying an optimistic modification of the least-squares value iteration algorithm, in the context of the action-value function represented by a kernel function or an overparameterized neural network. We establish both polynomial runtime complexity and polynomial sample complexity for this algorithm, without additional assumptions on the data-generating model. In particular, we prove that the algorithm incurs an $ ilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$ regret, where $\delta_{\mathcal{F}}$ characterizes the intrinsic complexity of the function class $\mathcal{F}$, $H$ is the length of each episode, and $T$ is the total number of episodes. Our regret bounds are independent of the number of states, a result which exhibits clearly the benefit of function approximation in RL.

연구 동기 및 목표

• 대규모 상태 공간에서 현대적 함수 근사와 강화학습을 융합하는 데서 발생하는 이론적 과제를 해결하기 위해.
• 함수 근사 기반 강화학습에서 탐색-이용 균형과 계산 및 통계적 균형 간의 상호작용을 통합하기 위해.
• 데이터 생성 모델에 대한 제한적인 가정 없이도 다항 시간 복잡도와 샘플 복잡도를 유지하는 이론적으로 탄탄한 알고리즘을 개발하기 위해.
• 효과적인 함수 근사를 통해 정규화된 손실 경계가 상태 수에 의존하지 않도록 할 수 있는지를 입증하기 위해.

제안 방법

• 행동-가치 함수 근사를 위한 최소 제곱가치 반복 알고리즘의 최적화된 수정을 도입한다.
• 커널 함수 또는 과다파rameter화된 신경망을 사용하여 가치 함수를 표현함으로써 대규모 상태 공간에서의 일반화를 가능하게 한다.
• 탐색과 이용을 균형 잡기 위해 정규화된 최소 제곱 갱신과 최적성 원리를 결합한다.
• 함수 클래스의 복잡도 측도인 $\delta_{\mathcal{F}}$를 사용하여 알고리즘을 분석함으로써 함수 공간의 내재적 복잡도를 캡처한다.
• 문제 파ram터에 대해 다항적으로 스케일링되는 런타임 및 샘플 복잡도의 경계를 유도한다.
• 정규화된 손실 경계가 상태 수에 영향을 받지 않고, $\delta_{\mathcal{F}}$, 에피소드 길이 $H$, 총 에피소드 수 $T$에만 의존함을 확립한다.

실험 결과

연구 질문

• RQ1 데이터 모델에 추가 가정 없이도 대규모 상태 공간 강화학습에서 최적의 함수 근사 알고리즘이 다항 시간 복잡도와 샘플 복잡도를 달성할 수 있는가?
• RQ2 함수 클래스의 내재적 복잡도 $\delta_{\mathcal{F}}$는 함수 근사 기반 강화학습에서 정규화된 손실에 어떤 영향을 미치는가?
• RQ3 함수 근사를 통해 정규화된 손실 경계에서 상태 수에 대한 의존도는 어느 정도 감소시킬 수 있는가?
• RQ4 강화학습에서 탐색, 함수 근사, 계산 효율성 간의 이론적 상호작용은 어떻게 작용하는가?
• RQ5 커널 또는 신경망 함수 근사기로 정규화된 손실 최소화를 이론적으로 정당화할 수 있는가?

주요 결과

• 제안된 알고리즘은 문제 크기와 함수 클래스 복잡도에 대해 다항 시간 복잡도를 달성하며 효율적으로 스케일링된다.
• 알고리즘은 $\tilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$의 정규화된 손실 경계를 유발하며, 이는 상태 수와 무관하다.
• 정규화된 손실 경계는 함수 클래스의 내재적 복잡도 $\delta_{\mathcal{F}}$, 에피소드 길이 $H$, 총 에피소드 수 $T$에만 의존한다.
• 데이터 생성 모델에 대한 추가 가정 없이도 분석이 유효하므로, 이론적 일반성과 적용 범위가 높아진다.
• 결과는 함수 근사가 성능 보장이 있는 확장 가능한 강화학습을 가능하게 하는 데서 명백한 이론적 이점을 입증한다.
• 최적성 메커니즘이 효과적으로 탐색과 이용을 균형 잡으며, 강력한 일반화 및 수렴 성질을 이끌어낸다.