[논문 리뷰] Efficient Planning in Large MDPs with Weak Linear Function Approximation

Roshan Shariff, Csaba Szepesvári|arXiv (Cornell University)|2020. 07. 13.

Reinforcement Learning in Robotics참고 문헌 41인용 수 9

한 줄 요약

이 논문은 약한 선형 함수 근사(weak linear function approximation)를 사용하는 대규모 마르코프 결정 과정(MDPs)에 대한 랜덤화된 계획 알고리즘을 제시한다. 여기서는 오직 최적의 가치 함수만 특징들에 의해 잘 근사되어야 한다. 핵심 상태의 소량의 집합을 활용하여, 이들의 특징이 모든 상태 특징을 덮도록 하면, 알고리즘은 생성 모델(오рак불)을 사용하여 다항 시간 내에 계산하고 근사 최적의 성능를 달성한다. 이는 약한 특징을 통한 효율적 계획 문제를 해결한 것이다.

ABSTRACT

Large-scale Markov decision processes (MDPs) require planning algorithms with runtime independent of the number of states of the MDP. We consider the planning problem in MDPs using linear value function approximation with only weak requirements: low approximation error for the optimal value function, and a small set of "core" states whose features span those of other states. In particular, we make no assumptions about the representability of policies or value functions of non-optimal policies. Our algorithm produces almost-optimal actions for any state using a generative oracle (simulator) for the MDP, while its computation time scales polynomially with the number of features, core states, and actions and the effective horizon.

연구 동기 및 목표

• 오직 최적의 가치 함수만 특징들에 의해 잘 근사되는 경우(약한 특징, weak features)에 대규모 MDP에서 효율적 계획을 수행하는 데 있어 열려 있는 문제를 해결하기 위해.
• 알고리즘의 런타임과 쿼리 복잡도가 상태 공간의 크기에 영향을 받지 않고, 특징 수, 핵심 상태 수, 행동 수, 유효 수렴 시간(H)에 대해 다항식적으로 증가하도록 설계하기 위해.
• 비최적 정책이나 가치 함수에 대한 강력한 표현 가정이 필요 없이 근사 최적의 정책 성능를 달성하기 위해.
• 이론적 선형 프로그래밍 접근법과 실용적인 효율적 계획 사이의 격차를 메우기 위해, 수렴 보장이 있는 랜덤화된 사다리점 해법을 도입하기 위해.

제안 방법

• 알고리즘은 모든 상태가 아니라 사전에 정해진 소량의 핵심 상태에서만 벨먼 제약 조건을 만족시키는 완화된 근사 선형 프로그래밍(ALP)을 사용한다.
• 계획 문제를 정책 및 가치 함수 매개변수에 대한 볼록-볼록(convex-concave) 사다리점 문제로 재구성하여, 확률적 1차 방법을 통해 효율적인 최적화를 가능하게 한다.
• 적절히 구성된 거리 생성 함수(distance-generating function)를 갖춘 랜덤화된 사다리점 해법은 유한한 이중성 갭을 갖는 근사해로 수렴함을 보장한다.
• 지정된 노름에서 지수 가중치를 사용한 프록시널 투영을 통해 정책 및 가치 함수 공간에 안정적이고 수렴 가능한 방법을 확보한다.
• 상태공간 의존성을 최소화하기 위해 생성 모델(시뮬레이터)과 상호작용하여 벨먼 백업과 기울기를 추정한다.
• 이론적 분석을 통해 유도된 정책은 O(ε + cε_approx)-최적임을 보이며, 여기서 ε은 근사 오차이고 c는 γ, d, A에 따라 결정되는 인자이다.

실험 결과

연구 질문

• RQ1 오직 최적의 가치 함수만 선형 특징들에 의해 잘 근사되는 경우(약한 특징, weak features)에 대규모 MDP에서 효율적 계획을 달성할 수 있는가? 비최적 정책의 표현 가능성은 요구되지 않는다.
• RQ2 특징 수, 핵심 상태 수, 행동 수, 유효 수렴 시간에 대해 런타임과 쿼리 복잡도가 다항식적으로 증가하면서도 근사 최적의 성능를 유지할 수 있는 계획 알고리즘을 설계할 수 있는가?
• RQ3 핵심 상태에서만 제약 조건이 적용되는 완화된 ALP 설정을 효율적으로 풀어 근사 최적의 정책를 도출할 수 있는가?
• RQ4 랜덤화된 사다리점 해법의 사용이 계획 알고리즘의 계산 효율성과 수렴 보장에 어떤 영향을 미치는가?
• RQ5 약한 특징 가정 하에서 최적 가치 함수의 근사 오차를 효과적으로 유 bounds하고, 이를 정책 성능 보장으로 번역할 수 있는가?

주요 결과

• 제안된 알고리즘은 O(ε + cε_approx)-최적의 정책를 달성한다. 여기서 ε은 근사 오차이고, c는 할인 인자 γ, 특징 수 d, 행동 수 A에 따라 결정되는 인자이다.
• 쿼리 복잡도와 런타임은 전체 상태공간 크기에 영향을 받지 않고, 특징 수, 핵심 상태 수, 행동 수, 유효 수렴 시간 H = 1/(1−γ)에 대해 다항식적으로 증가한다.
• 이전 방법들에 비해 계산 비용을 줄이는 랜덤화된 사다리점 해법을 사용하여, 대규모 MDP에서의 실용적 구현을 가능하게 한다.
• 이중성 갭에 대한 이론적 한계는 해로부터 유도된 정책가 근사 최적임을 보장하며, T 반복 후 갭이 O(1/√T)로 감소함을 보여준다.
• 약한 특징 가정 하에서도 알고리즘이 강인하다: 오직 최적 가치 함수만 특징들의 선형 조합에 의해 잘 근사되어야 하며, 모든 상태의 특징 벡터가 핵심 상태 특징들의 볼록 결합 내에 있어야 한다.
• 거리 생성 함수와 노름 구성은 1-강凸성(1-strong convexity)과 유한한 지름을 보장하여, 확률적 사다리점 방법의 수렴 보장을 가능하게 한다.