[논문 리뷰] Provably Efficient Reinforcement Learning with Aggregated States

Shi Dong, Benjamin Van Roy외 1명|arXiv (Cornell University)|2019. 12. 13.

Reinforcement Learning in Robotics참고 문헌 22인용 수 12

한 줄 요약

이 논문은 고정된 수명을 가진 에피소드적 MDP에 대해 집합 상태를 사용하는 낙관적인 Q-학습 알고리즘을 제안하며, $H$는 수명, $M$은 집합 상태의 수, $K$는 에피소드 수, $\epsilon$은 집합 상태 내 최적 값 간의 최대 차이임을 고려할 때, $\tilde{\mathcal{O}}(\sqrt{H^5MK} + \epsilon HK)$의 리그레트 한계를 달성한다. 이 한계는 전체 상태 및 행동 공간 크기에 종속되지 않으며, 점점 더 작은 주기별 리그레트가 최대 $\epsilon$이 되므로, 전이 동역학에 대한 구조적 가정 없이도 첫 번째이자 유일한 결과이다.

ABSTRACT

We establish that an optimistic variant of Q-learning applied to a fixed-horizon episodic Markov decision process with an aggregated state representation incurs regret $ ilde{\mathcal{O}}(\sqrt{H^5 M K} + εHK)$, where $H$ is the horizon, $M$ is the number of aggregate states, $K$ is the number of episodes, and $ε$ is the largest difference between any pair of optimal state-action values associated with a common aggregate state. Notably, this regret bound does not depend on the number of states or actions and indicates that asymptotic per-period regret is no greater than $ε$, independent of horizon. To our knowledge, this is the first such result that applies to reinforcement learning with nontrivial value function approximation without any restrictions on transition probabilities.

연구 동기 및 목표

• 전체 상태 및 행동 공간 크기에 종속되지 않는 상태 집합을 사용하는 증명 가능한 효율적 강화 학습 알고리즘을 개발하기 위해.
• 환경의 전이 동역학에 대한 구조적 가정 없이도 성립하는 리그레트 한계를 확립하기 위해.
• 점점 더 큰 주기별 리그레트가 $\epsilon$으로 제한됨을 보여주기 위해, 이는 집합 상태 내 최적 값 간의 최대 차이이다.
• 기존의 표본 기반 Q-학습 보장을 상태 집합을 통한 가치 함수 근사로 확장하면서도 이론적 효율성을 유지하기 위해.

제안 방법

• 알고리즘은 Q-값에 대한 상한 신뢰도를 유지하는 낙관적 Q-학습의 변형을 사용하며, 방문 수 $j$를 기반으로 $\beta / \sqrt{j}$ 항을 통해 불확실성을 반영한다.
• 상태-행동 쌍을 $M$개의 집합 상태로 분할하여 상태 집합을 적용하며, 각 셀 내에서 최적 값이 일정하다고 가정한다.
• 분석은 단계 간의 재귀적 오차 분해를 사용하며, 단계 $h$에서의 정책에 따른 오차를 $h+1$ 단계의 오차와 연결한다. 이는 벨먼 업데이트의 구조를 활용한다.
• 추정 오차를 통제하기 위해 고확률 사건 $\mathcal{E}_{\rm opt}$를 정의하여, 리그레트 한계가 높은 확률로 성립하도록 보장한다.
• 전이 및 가치 추정 오차에서 발생하는 마팅게일 차분 수열의 바ounds를 확립하는 데 의존한다.
• 코시-슈바르츠 부등식과 합계 부등식을 조합하여 총 리그레트를 $\sum_{k,h} 1/\sqrt{\hat{n}_h^k}$ 로 표현하고, 이로부터 $\tilde{\mathcal{O}}(\sqrt{H^5MK})$를 유도한다.

실험 결과

연구 질문

• RQ1 집합 상태를 사용하는 낙관적 Q-학습 알고리즘이 전체 상태 및 행동 공간 크기에 종속되지 않는 리그레트를 달성할 수 있는가?
• RQ2 환경의 전이 커널에 대한 구조적 가정이 없을 경우, 집합 상태를 사용하는 Q-학습의 최적 리그레트 한계는 무엇인가?
• RQ3 에이전트의 성능 손실은 집합 상태 내 최적 값 간의 최대 차이인 $\epsilon$과 어떻게 관련이 있는가?
• RQ4 기존 방법에서 관찰된 $O(\epsilon H)$의 주기별 리그레트와 달리, 이 알고리즘은 $O(\epsilon)$의 주기별 리그레트를 달성하는가?

주요 결과

• 제안된 알고리즘은 $\tilde{\mathcal{O}}(\sqrt{H^5MK} + \epsilon HK)$의 리그레트 한계를 달성하며, 이는 상태 수와 행동 수에 종속되지 않는다.
• 점점 더 큰 주기별 리그레트는 $\epsilon$으로 제한되며, 이는 가치 함수 근사로 인한 성능 손실이 최소화되고 수명에 따라 증가하지 않음을 시사한다.
• 기존 연구가 저랭크 또는 결정론적 전이를 요구하는 것과 달리, 이 결과는 전이 동역학에 대한 어떤 구조적 가정도 필요로 하지 않는다.
• 분석 결과, 방문 수의 역수 제곱근의 합은 $\tilde{\mathcal{O}}(\sqrt{H^2MK})$ 이하로 제한되며, 이는 최종 리그레트 한계 유도에 핵심적이다.
• 이전 연구에서 관찰된 $O(\epsilon H)$의 주기별 리그레트 문제를 해결하고, 더 날카운 $O(\epsilon)$의 리그레트 한계를 달성한다.
• 이 한계는 전이 커널에 제한이 없이도 비트리비얼 가치 함수 근사가 가능한 강화 학습에서 $O\left(\epsilon\right)$의 주기별 리그레트를 달성한 최초의 결과이다.