[논문 리뷰] Information-Theoretic Considerations in Batch Reinforcement Learning

Jing‐Lin Chen, Nan Jiang|arXiv (Cornell University)|2019. 05. 01.

Reinforcement Learning in Robotics참고 문헌 45인용 수 49

한 줄 요약

이 논문은 RL에서 배치 가치 함수 근사화를 분석하여 정보 이론적 한계를 입증하고 realizability 및 completeness 하에서 FQI와 최소극값(minimax) 변형에 대한 유한-샘플 보장을 제공하며 concentratability 및 모델 기반 대 가치 기반 학습에 대한 통찰을 제공합니다.

ABSTRACT

Value-function approximation methods that operate in batch mode have foundational importance to reinforcement learning (RL). Finite sample guarantees for these methods often crucially rely on two types of assumptions: (1) mild distribution shift, and (2) representation conditions that are stronger than realizability. However, the necessity ("why do we need them?") and the naturalness ("when do they hold?") of such assumptions have largely eluded the literature. In this paper, we revisit these assumptions and provide theoretical results towards answering the above questions, and make steps towards a deeper understanding of value-function approximation.

연구 동기 및 목표

• 배치 RL에서 데이터 분포 변화의 필요성과 표현 가정의 필요성을 동기 부여하고 형식화한다.
• 배치 설정에서 벨만 오차 최소화를 minimax 관점으로 개발한다.
• 실현 가능성과 완전성(realizability와 completeness) 하에 FQI 및 그 minimax 변형에 대한 유한-샘플 보장을 제공한다.
• 배치 RL에서 concentratability의 역할과 샘플 복잡도에 대한 시사점을 명확히 한다.

제안 방법

• 배치 가치-함수 근사를 벤야민 오차를 근사하는 minimax 회귀 목표로 해석한다.
• FQI를 minimax 목표의 특수한 경우로 보고 고정점 동작을 논의한다.
• 실현 가능성과 완전성의 두 가정 프레임워크를 사용하여 FQI 및 minimax 변형에 대한 유한-샘플 상한을 도출한다.
• FQI에 대해 n = O(C log(|F|/δ) / (ε^2 (1−γ)^4)) 및 minimax 방법에 대해 n = O(C log(|F||G|/δ) / (ε^2 (1−γ)^4))의 샘플 복잡도 경계를 도출한다.
• 배치 학습 보장을 concentratability와 연결하고 하한 및 모델 기반 대 가치 기반 접근법의 함의에 대해 논의한다.

실험 결과

연구 질문

• RQ1 왜 완만한 분포 변화(concentratability)와 표현성(realizability/completeness)이 배치 RL에서 유한-샘플 보장을 위해 필요한가?
• RQ2 실현 가능성과 완전성 하에서 FQI와 minimax 변형이 다항적 샘플 복잡도에 도달할 수 있는가, 그리고 그 속도는 어떻게 비교되는가?
• RQ3 완전성에 대한 가정이 없을 때 정보 이론적 고려가 하한의 존재에 대해 무엇을 시사하는가?
• RQ4 벨먼 오류 최소화, 상태 추상화, PAC 탐색과 같은 개념이 함수 근사를 갖는 배치 RL과 어떤 관련이 있는가?
• RQ5 모델 기반 RL이 실현 가능성만으로 다항적 샘플 복잡도에 도달할 수 있는 조건은 무엇인가?

주요 결과

• FQI는 실현 가능성과 완전성 하에서 샘플 복잡도 n=O(C log(|F|/δ) / (ε^2 (1−γ)^4))으로 거의 최적의 정책을 달성한다.
• minimax 변형은 실현 가능성과 완전성 하에서 n=O(C log(|F||G|/δ) / (ε^2 (1−γ)^4))으로 거의 최적의 정책을 달성하며, 에러에서 더 빠른 n^{-1/2} 수렴을 보인다.
• FQI는 특정 조건에서 고정점 등가를 가진 minimax 벨먼-오류 목표의 근사로 해석될 수 있다.
• 집중성의 필요성을 형식적으로 제시하는 하한 주장: MDP 동역학에 대한 어떤 제한이 없으면 다항적 샘플 복잡도는 배제된다.
• 모델 기반 RL의 한 결과는 실현 가능성만으로도 다항적 샘플 복잡도 달성이 가능함을 보여주며, 함수 근사를 갖는 배치에서 모델 기반과 가치 기반 RL 간의 구분을 시사한다.
• 저자들은 concentratability가 낮은 자연스러운 예를 논의하고 이를 상태 추상화 및 관련 RL 문헌의 PAC 탐색과 연결한다.