[논문 리뷰] Exponential Lower Bounds for Planning in MDPs With Linearly-Realizable Optimal Action-Value Functions

Gellért Weisz, Philip Amortila외 1명|arXiv (Cornell University)|2020. 10. 03.

Machine Learning and Algorithms참고 문헌 16인용 수 20

한 줄 요약

이 논문은 선형으로 실현 가능한 최적 행동가치 함수를 가진 고정된 수평선 및 할인된 마코프 결정 과정(MDPs)에서 계획의 지수적 쿼리 복잡도 하한을 설정한다. 최적 Q-함수가 d차원 특징 매핑의 선형 조합에 속한다는 가정에도 불구하고, 어떤 타당한 플래너라도 고정 수평선 케이스에서는 최소 min(e^Ω(d), Ω(2^H))번, 할인된 케이스에서는 e^Ω(d)번의 쿼리를 수행해야 하며, 이는 실현 가능성만으로는 쿼리 효율적인 계획이 보장되지 않음을 보여준다.

ABSTRACT

We consider the problem of local planning in fixed-horizon and discounted Markov Decision Processes (MDPs) with linear function approximation and a generative model under the assumption that the optimal action-value function lies in the span of a feature map that is available to the planner. Previous work has left open the question of whether there exist sound planners that need only poly(H,d) queries regardless of the MDP, where H is the horizon and d is the dimensionality of the features. We answer this question in the negative: we show that any sound planner must query at least $\min(\exp(Ω(d)), Ω(2^H))$ samples in the fized-horizon setting and $\exp(Ω(d))$ samples in the discounted setting. We also show that for any $δ>0$, the least-squares value iteration algorithm with $O(H^5d^{H+1}/δ^2)$ queries can compute a $δ$-optimal policy in the fixed-horizon setting. We discuss implications and remaining open questions.

연구 동기 및 목표

• 최적 행동가치 함수의 실현 가능성으로 선형 함수 근사 기법을 사용하는 MDPs에서 쿼리 효율적인 계획이 가능할지 여부를 규명하는 것.
• 최적 Q-함수가 알려진 특징 매핑을 통해 선형 실현 가능하다는 가정 하에, 타당한 플래너의 최악의 경우 쿼리 복잡도를 규명하는 것.
• 고정 수평선 및 할인된 MDPs에서 계획을 위해 필요한 시뮬레이터 쿼리 수의 날카운 하한을 설정하는 것.
• 특히 큰 행동 공간을 가진 설정에서, q*-실현 가능성과 다른 실현 가능성 가정들 간의 쿼리 복잡도를 비교하는 것.

제안 방법

• Johnson-Lindenstrauss 레미를 이용해 거의 직교적인 특징 벡터를 생성함으로써 지수적으로 많은 행동을 가진 결정성 MDP 가족을 구성한다.
• 최종 시간 단계에서 최적 행동이 다른 행동들과 지수적으로 작은 격차를 가지도록 보상 구조를 설계하며, 이를 수평선을 거꾸로 전파함으로써 증폭시킨다.
• 역행 방식과 농도 불등식(Hoeffding의 부등식)을 사용하여 생성 모델 하에서 가치 함수 근사에서의 추정 오차를 제한한다.
• 고정 수평선 설정에서 δ-최적 정책을 달성하기 위해 샘플 복잡도 Õ(H^5 d^{H+1} / δ^2)를 가진 최소 제곱가치 반복 알고리즘을 적용한다.
• 재귀적 오차 전파 분석을 통해 각 단계에서 추정된 최적 가치 함수와 진짜 최적 가치 함수 간의 차이를 제한한다.
• 모든 플래너가 거의 동일한 가치 함수를 구분하기 위해 d 또는 H에 대해 지수적으로 많은 횟수의 쿼리를 수행해야 한다는 점을 보여주는 감소를 통한 하한 증명

실험 결과

연구 질문

• RQ1 최적 행동가치 함수의 실현 가능성만으로 선형 함수 근사 기법을 사용하는 MDPs에서 쿼리 효율적인 계획이 보장되는가?
• RQ2 최적 Q-함수가 선형 실현 가능할 때 고정 수평선 MDPs에서 타당한 플래너의 최악의 경우 쿼리 복잡도는 얼마인가?
• RQ3 q*-실현 가능성 하에서 특징 차원 d와 계획 수평선 H에 따라 쿼리 복잡도는 어떻게 스케일링되는가?
• RQ4 동일한 실현 가능성 가정 하에, 할인된 MDP 설정에서도 지수적 쿼리 복잡도가 유지되는가?
• RQ5 이 설정에서 알려진 상한과 하한 사이의 쿼리 복잡도 간 격차를 메울 수 있는가?

주요 결과

• 고정 수평선 설정에서 어떤 타당한 플래너라도 최소 min(e^Ω(d), Ω(2^H))번의 쿼리를 수행해야 하며, 이는 쿼리 복잡도가 d 또는 H에 대해 지수적으로 증가할 수 있음을 보여준다.
• 할인된 MDP 설정에서는 쿼리 복잡도가 최소 e^Ω(d)이므로 특징 차원에 대해 지수적 의존성을 보인다.
• Õ(H^5 d^{H+1} / δ^2)의 쿼리 수를 가진 최소 제곱가치 반복 알고리즘은 고정 수평선 설정에서 δ-최적 정책을 계산할 수 있다.
• 하한 구성은 최종 시간 단계의 랜덤 보상 이외에는 결정성이며, 이는 행동 수가 많은 결정성 MDP에서 최대 d개의 비최적 행동만 선택될 수 있다는 점과 대조를 이룬다.
• 지수적 하한은 행동 공간의 크기 때문만이 아니라, 실현 가능성 하에서 가치 함수 근사의 구조 때문이며, 행동 집합이 크더라도 여전히 발생한다.
• 결과적으로 q*-실현 가능성과 다른 실현 가능성 가정들(특히 H > 1일 때, 기억이 없는 정책 π에 대해 q^π의 실현 가능성) 사이에 뚜렷한 분리가 있음을 보여준다.