[논문 리뷰] Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency

Cai Qi, Zhuoran Yang외 1명|arXiv (Cornell University)|2022. 04. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 선형 함수 근사와 함께 무한 관측 및 상태 공간을 가진 부분 관측 마르코프 결정 과정(POMDP)를 위한 강화 학습 알고리즘인 OP-TENET을 제안한다. $\epsilon$-최적 정책을 $O(1/\epsilon^2)$ 에피소드 내에 달성하며, 표본 복잡도는 내재 차원에 대해 다항식으로 증가하고 관측/상태 공간 크기와는 독립적이다. 이는 유한 기억 벨만 연산자, 부드럽게 처리된 판별기로 조정된 적대적 적분 방정식 추정, 그리고 낙관 기반 탐색을 통해 가능해졌다.

ABSTRACT

We study reinforcement learning for partially observed Markov decision processes (POMDPs) with infinite observation and state spaces, which remains less investigated theoretically. To this end, we make the first attempt at bridging partial observability and function approximation for a class of POMDPs with a linear structure. In detail, we propose a reinforcement learning algorithm (Optimistic Exploration via Adversarial Integral Equation or OP-TENET) that attains an $ε$-optimal policy within $O(1/ε^2)$ episodes. In particular, the sample complexity scales polynomially in the intrinsic dimension of the linear structure and is independent of the size of the observation and state spaces. The sample efficiency of OP-TENET is enabled by a sequence of ingredients: (i) a Bellman operator with finite memory, which represents the value function in a recursive manner, (ii) the identification and estimation of such an operator via an adversarial integral equation, which features a smoothed discriminator tailored to the linear structure, and (iii) the exploration of the observation and state spaces via optimism, which is based on quantifying the uncertainty in the adversarial integral equation.

연구 동기 및 목표

• 무한 관측 및 상태 공간을 가진 POMDP에 대한 강화 학습 이론적 간극을 메운다.
• 부분 관측성과 고차원 상태 공간으로 인한 통계적 및 계산적 과제를 해결한다.
• 선형적 구조를 가진 POMDP에 대해 증명 가능한 표본 효율성을 가진 알고리즘을 개발한다.
• 모델 완전 규명이나 표본 가정 없이도 POMDP에서 함수 근사를 가능하게 한다.
• 부분 관측 하에서 선형 함수 근사를 사용하여 효율적인 탐색 및 가치 함수 추정 프레임워크를 수립한다.

제안 방법

• 메모리와 계산 요구량을 줄이기 위해 가치 함수를 재귀적으로 표현하는 유한 기억 벨만 연산자를 제안한다.
• 선형 구조에 맞게 조정된 부드러운 판별기를 사용한 적대적 적분 방정식을 활용해 벨만 연산자를 식별하고 추정한다.
• 탐색을 위해 적대적 적분 방정식의 불확실성 측정을 통해 불확실성에 대한 낙관주의를 도입한다.
• 특히 대규모 데이터셋에서의 계산 효율성을 확보하기 위해 학습 문제를 최소최대 최적화 문제로 재구성한다.
• 가치 함수 추정에 선형 함수 근사를 통합하여 고차원 공간으로의 확장성을 보장한다.
• 선형 구조의 내재 차원을 핵심 복잡도 측정 기준으로 삼아 표본 복잡도를 관측 및 상태 공간 크기와 분리한다.

실험 결과

연구 질문

• RQ1 무한 관측 및 상태 공간을 가진 POMDP에서 선형 함수 근사를 사용해 증명 가능한 표본 효율성을 확보할 수 있는가?
• RQ2 고차원이고 부분 관측 가능한 환경에서 가치 함수는 어떻게 효율적으로 표현하고 추정할 수 있는가?
• RQ3 내재 차원은 선형적으로 구조화된 POMDP의 표본 복잡도를 결정하는 데 어떤 역할을 하는가?
• RQ4 적대적 적분 방정식의 맥락에서 낙관 기반 탐색을 효과적으로 측정하고 적용할 수 있는가?
• RQ5 이러한 환경에서 관측 및 상태 공간 크기와 독립적인 다항식 표본 복잡도를 달성할 수 있는가?

주요 결과

• OP-TENET는 $O(1/\epsilon^2)$ 에피소드 내에 $\epsilon$-최적 정책을 달성하여 증명 가능한 효율적인 학습 속도를 확립한다.
• 표본 복잡도는 선형 구조의 내재 차원에 대해 다항식으로 증가하며, 관측 및 상태 공간 크기와는 독립적이다.
• 알고리즘의 표본 효율성은 복잡도를 감소시킨 유한 기억 벨만 연산자를 통해 가치 함수의 재귀성을 포착함으로써 가능해졌다.
• 부드러운 판별기를 사용한 적대적 적분 방정식 추정은 선형 구조 하에서 벨만 연산자의 정확한 식별을 가능하게 한다.
• 적대적 적분 방정식의 불확실성 측정에 기반한 낙관 기반 탐색은 관측 및 상태 공간의 효과적인 커버리지 보장을 한다.
• 최소최대 최적화 공식화는 대규모 데이터셋에서도 효율적인 구현을 가능하게 하여 실용적 확장성에 기여한다.