[논문 리뷰] Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration

Andrea Zanette, Alessandro Lazaric외 2명|arXiv (Cornell University)|2020. 08. 18.

Robotic Path Planning Algorithms참고 문헌 43인용 수 13

한 줄 요약

이 논문은 선형 가치 함수 근사와 함께 보상 무관 강화학습을 위한 증명 가능하게 효율적이고 계산적으로 구현 가능한 알고리즘을 제시한다. 낮은 본질적 벨먼 오차와 보상 없는 탐색 프레임워크를 활용하여, 보상이 후행적으로 공개되거나 탐색 데이터로부터 추정되는 경우에도 어떤 선형 보상 함수에 대해 근사 최적 정책을 학습하는 데 있어 PAC 표본 복잡도 한계를 달성한다.

ABSTRACT

There has been growing progress on theoretical analyses for provably efficient learning in MDPs with linear function approximation, but much of the existing work has made strong assumptions to enable exploration by conventional exploration frameworks. Typically these assumptions are stronger than what is needed to find good solutions in the batch setting. In this work, we show how under a more standard notion of low inherent Bellman error, typically employed in least-square value iteration-style algorithms, we can provide strong PAC guarantees on learning a near optimal value function provided that the linear space is sufficiently "explorable". We present a computationally tractable algorithm for the reward-free setting and show how it can be used to learn a near optimal policy for any (linear) reward function, which is revealed only once learning has completed. If this reward function is also estimated from the samples gathered during pure exploration, our results also provide same-order PAC guarantees on the performance of the resulting policy for this setting.

연구 동기 및 목표

• LSPI와 LSVI와 같은 배치 강화학습 방법에서 일반적인 낮은 본질적 벨먼 오차 가정 하에 계산적으로 효율적이고 통계적으로 타당한 강화학습 알고리즘을 개발하는 것.
• 단일 단계의 순수 탐색만을 사용하여 보상 지식 없이도 어떤 선형 보상 함수에 대해 근사 최적 정책을 학습할 수 있도록 하는 것.
• 보상이 학습 후에 공개되거나 동일한 탐색 데이터로부터 추정되는 경우, 결과 정책에 대한 PAC 일반화 보장을 제공하는 것.
• 이전 연구에서 일반적으로 사용되던 낙관적 닫힘 가정의 한계를 극복하기 위해 더 표준적이고 배치에 적합한 가정에 기반하는 것.

제안 방법

• 고정된 정책 하에서 탐색을 수행하여 상태-행동 공간의 충분한 커버리지가 이루어지도록 보장하는 보상 없는 탐색 단계를 사용한다.
• 최소 제곱 추정기를 사용한 선형 값 반복을 통해 본질적 벨먼 오차를 최소화하는 가치 함수 근사를 수행한다.
• 특성 공분산 행렬의 쌍대 노름을 이용해 새로운 탐색 보너스를 유도함으로써, 보상 지식 없이도 효율적인 탐색이 가능하도록 한다.
• 값 함수 근사가 낮은 차원의 선형 공간 내에 유지되도록 하여 최적화의 계산 가능성을 보장한다.
• 집중 불등식(예: 카이제곱 및 아즈마-후이딩)을 사용하여 추정 오차와 일반화에 대한 고확률 한계를 유도한다.
• 전이 모델을 전체적으로 추정하거나 복잡한 온라인 최적화 문제를 해결할 필요 없이 계산 가능성을 확보하도록 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 기본적인 낮은 본질적 벨먼 오차 가정 하에서 낙관적 닫힘에 의존하지 않고 선형 MDP에서 증명 가능하게 효율적인 학습을 달성할 수 있는가?
• RQ2 단일 단계의 순수 탐색 이후 어떤 선형 보상 함수에 대해서도 근사 최적 정책을 학습할 수 있는 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ3 보상이 후행적으로 알려지거나 탐색 데이터로부터 추정되는 경우, 이러한 보상 무관 학습 프레임워크에서 달성 가능한 표본 복잡도 한계는 무엇인가?
• RQ4 알고리즘의 성능은 특성 공간의 차원과 신뢰 수준에 따라 어떻게 스케일링되는가?

주요 결과

• 알고리즘은 특성 공간의 차원과 보상 갭의 역수에 비례하는 PAC 표본 복잡도 한계를 달성하며, 로그 인자 외에는 알려진 하한값과 일치한다.
• 낮은 본질적 벨먼 오차 조건 하에서 보상 없는 설정에서 처음으로 계산적으로 구현 가능한 알고리즘과 함께 PAC 보장을 제공하며, 낙관적 닫힘을 요구하지 않는다.
• 보상이 동일한 탐색 데이터로부터 추정되는 경우, 결과 정책는 진정한 보상이 알려져 있는 것과 동일한 순서의 PAC 성능 보장을 달성한다.
• 이론적 분석을 통해 가우시안 및 카이제곱 분포 변수에 대한 집중 불등식을 사용하여 값 함수의 추정 오차에 대한 고확률 한계를 수립한다.
• 탐색 보너스가 특성 벡터의 쌍대 노름에 비례하도록 보장하여 상태-행동 공간의 효과적인 커버리지가 가능하다.