[논문 리뷰] Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL

Andrea Zanette|arXiv (Cornell University)|2020. 12. 14.

Reinforcement Learning in Robotics참고 문헌 55인용 수 18

한 줄 요약

이 논문은 선형 함수 근사 설정에서 배치 강화 학습(batch RL)에 대해 지수적 정보이론적 하한을 확립한다. 이는 정확한 보상, 전이 함수, 최적의 데이터 분포가 주어져도 배치 RL이 온라인 RL보다 지수적으로 더 어렵다는 것을 보여준다. 핵심 결과는 배치 학습과 온라인 학습 간의 지수적 분리이며, 강력한 가정(예: 실현 가능성과 정확한 피드백)이 존재하더라도 오프라인 데이터만을 사용해 근사 최적 정책을 학습하거나 목표 정책을 평가하는 데 있어 근본적인 한계를 입증한다.

ABSTRACT

Several practical applications of reinforcement learning involve an agent learning from past data without the possibility of further exploration. Often these applications require us to 1) identify a near optimal policy or to 2) estimate the value of a target policy. For both tasks we derive \emph{exponential} information-theoretic lower bounds in discounted infinite horizon MDPs with a linear function representation for the action value function even if 1) \emph{realizability} holds, 2) the batch algorithm observes the exact reward and transition \emph{functions}, and 3) the batch algorithm is given the \emph{best} a priori data distribution for the problem class. Our work introduces a new `oracle + batch algorithm' framework to prove lower bounds that hold for every distribution. The work shows an exponential separation between batch and online reinforcement learning.

연구 동기 및 목표

• 배치 강화 학습(RL)이 강력한 가정 조건 하에서도 온라인 RL에 비해 본질적으로 제한받는지 조사하기.
• 최적의 데이터 분포가 주어졌을 때, 배치 알고리즘이 근사 최적 정책을 효율적으로 학습하거나 목표 정책을 평가할 수 있는지 판단하기.
• 모든 배치 데이터 분포에 대해 유효한 정보이론적 하한을 확립하여 실현 가능성과 정확한 피드백 조건 하에서 근거를 마련하기.
• 무한할행 MDP에서 선형 함수 근사 설정에서 배치와 온라인 RL 간의 지수적 분리를 입증하기.
• 강력한 하한을 도출하기 위해 분포에 영향을 받지 않는 '오라클 + 배치 알고리즘' 프레임워크를 체계화하기.

제안 방법

• 오라클이 사전에 최적의 데이터 분포를 선택하고, 배치 알고리즘이 이를 기반으로 학습하는 '오라클 + 배치 알고리즘' 프레임워크 도입.
• 단일 핵심 상태와 선형으로 파arameter화된 가치 함수를 갖는 MDP의 가족을 구성하여 어려운 사례를 창출.
• 행동 공간에서 초구면 캡(hyperspherical caps)을 사용해 최적 정책의 방향을 알 수 없는 상태로 표현하여, 충분한 샘플이 없으면 식별이 어려워지도록 함.
• 임의의 단위 벡터에 대해 적어도 하나의 표준 기저 벡터와의 내적 값이 $1/\sqrt{d}$ 이상임을 보여주는 보조 정리(Helper Lemma)를 활용해 최적 행동을 탐지 가능하게 함.
• 모든 배치 알고리즘이 $1/\sqrt{d}$ 이하의 부분 최적성 한계를 달성하기 위해 지수적으로 많은 쿼리를 수행해야 한다는 것을 증명하여 하한을 입증.
• 정확한 피드백과 최적의 데이터가 주어져도, 지수적 샘플 복잡도 없이 올바른 정책이나 가치 함수를 신뢰성 있게 식별할 수 없다는 것을 입증.

실험 결과

연구 질문

• RQ1 정확한 피드백과 실현 가능성 조건 하에서도 최적의 데이터 분포가 주어졌을 때, 배치 RL이 근사 최적 정책을 효율적으로 학습할 수 있는가?
• RQ2 선형 함수 근사 설정에서 배치와 온라인 RL 간에 본질적인 지수적 격차가 존재하는가?
• RQ3 모든 데이터 분포에 대해 유효한 정보이론적 하한을 도출할 수 있는가? 최악의 경우에만 유효한 것이 아니라.
• RQ4 행동 공간의 구조(예: 초구면 캡)가 정책 식별과 오프정책 평가에 본질적인 어려움을 초래하는가?
• RQ5 오라클 프레임워크를 사용해 데이터 분포에 영향을 받지 않는 강력한 하한을 도출할 수 있는가?

주요 결과

• 논문은 정확한 보상 및 전이 함수에 액세스할 수 있는 배치 RL에서 오프정책 평가와 최적 정책 식별에 대해 지수적 하한을 확립한다.
• 최적의 사전 데이터 분포가 주어져도, 기능 차원 $d$에 대해 지수적으로 많은 샘플이 필요하여 $1/\sqrt{d}$ 이하의 부분 최적성 갭을 달성해야 한다.
• 실현 가능성과 정확한 피드백 조건 하에서도 하한이 유지되며, 이는 모델 잘못 설정이나 데이터 노이즈 때문이 아니라 정보 이론적 제약 때문임을 보여준다.
• 온라인 알고리즘이 적응적으로 쿼리를 수행해 다항 시간 내에 최적 정책을 식별할 수 있음을 보여, 배치와 온라인 RL 간의 지수적 분리를 입증한다.
• 결과적으로, 강력한 가정이 존재하더라도 오프라인 데이터의 본질적 정보 이론적 제약로 인해 일반적으로 배치 RL은 효율적으로 만들 수 없다.