[논문 리뷰] Max-Plus Matching Pursuit for Deterministic Markov Decision Processes

Francis Bach|arXiv (Cornell University)|2019. 06. 20.

Reinforcement Learning in Robotics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 최적의 가치 함수를 결정성 있는 마코프 결정 과정(MDPs)에서 희소 표현을 이용한 가치 함수 사전을 사용하여 근사하기 위해 max-plus 매칭 퇄취 알고리즘을 도입한다. max-plus 대수를 활용함으로써 계산 복잡도는 상태 공간 크기 대신 커버링 수에 따라 관련지어 감소되며, 특히 저차원 제어 문제에서 적응형 기저 선택을 통해 더 나은 수렴 성능을 경험적으로 달성한다.

ABSTRACT

We consider deterministic Markov decision processes (MDPs) and apply max-plus algebra tools to approximate the value iteration algorithm by a smaller-dimensional iteration based on a representation on dictionaries of value functions. The setup naturally leads to novel theoretical results which are simply formulated due to the max-plus algebra structure. For example, when considering a fixed (non adaptive) finite basis, the computational complexity of approximating the optimal value function is not directly related to the number of states, but to notions of covering numbers of the state space. In order to break the curse of dimensionality in factored state-spaces, we consider adaptive basis that can adapt to particular problems leading to an algorithm similar to matching pursuit from signal processing. They currently come with no theoretical guarantees but work empirically well on simple deterministic MDPs derived from low-dimensional continuous control problems. We focus primarily on deterministic MDPs but note that the framework can be applied to all MDPs by considering measure-based formulations.

연구 동기 및 목표

• 최적의 가치 함수 근사에서 차원의 극복 문제를 max-plus 대수의 구조를 활용하여 해결하기 위해.
• 신호 처리의 매칭 퇄취에 영감을 받은 탐욕 알고리즘을 개발하여 가치 함수 표현에서 정보가 풍부한 기저 함수를 선택하기 위해.
• 상태 수에 의존하지 않고 커버링 수에 따라 결정되는 근사 복잡도에 대한 이론적 통찰을 제공하기 위해.
• 적응형 기저 선택의 성능을 저차원 연속 제어 문제에서 경험적으로 평가하기 위해.
• 측도 기반 공식화를 통해 비결정성 MDPs로 이 프레임워크를 확장하기는 하지만, 복잡도가 증가한다.

제안 방법

• 벨만 연산자는 $(\mathbb{R} \cup \{-\infty\}, \max, +)$의 max-plus 대수에서 재정의되며, 여기서는 덧셈과 양의 동차성을 가지게 된다.
• 기저 함수(원자)의 유한한 사전을 사용하여 가치 함수 근사를 수행하며, 매칭 퇄취와 유사한 탐욕적 선택 규칙을 통해 근사치를 갱신한다.
• 알고리즘은 max-plus 의미에서 잔차 오차를 가장 크게 줄이는 원자를 선택하며, 원자 선택에는 $\ell_1$-노름 기준을 사용한다.
• 고정된 기저에 대해, 근사 오차의 이론적 경계는 상태 공간의 커버링 수에 따라 유도되며, 상태 수와는 독립적이다.
• 적응형 기저 선택은 상태 공간의 인수 분해를 통해 차원의 극복 문제를 완화하기 위해 적용되며, 현재는 이론적 보장이 없지만 경험적으로 뛰어난 성능을 보인다.
• 상태를 확률 측도로 모델링하여 비결정성 MDPs로 프레임워크를 확장하고, 측도 기반 벨만 연산자를 가능하게 한다.

실험 결과

연구 질문

• RQ1 max-plus 대수는 결정성 있는 MDPs에서 가치 함수 근사에 더 자연스럽고 구조적인 프레임워크를 제공할 수 있는가?
• RQ2 max-plus 대수에서 고정된 유한 기저를 사용할 때 가치 함수 근사의 계산 복잡도는 어떻게 스케일링되는가?
• RQ3 적응형 기저 선택을 갖는 탐욕적 매칭 퇄취 스타일 알고리즘이 고차원 또는 인수 분해된 MDPs에서 고정 기저 방법보다 우수한 성능을 낼 수 있는가?
• RQ4 수렴성과 정확도에 있어 수렴 수렴 수준 $\tau = (1 - \gamma)^{-1}$ 의 역할은 무엇인가?
• RQ5 max-plus 프레임워크는 계산 가능성을 유지하면서 비결정성 MDPs로 어떻게 확장될 수 있는가?

주요 결과

• 고정된 비적응형 기저에 대해 근사 오차는 상태 공간의 커버링 수에 따라 결정되며, 상태 수에 따라 결정되지 않아 계산 복잡도가 잠재적으로 낮아질 수 있다.
• 사전에 포함된 조각별 애프린 함수는 동일한 수의 기저 함수를 사용할 때 조각별 상수 함수보다 훨씬 뛰어난 근사 성능을 보인다.
• 큰 수렴 수준 $\rho$ (즉, $T^\rho$ 대비 $T$) 는 탐욕적 매칭 퇄취의 성능을 향상시켜 더 나은 원자 선택을 가능하게 한다.
• 두 차원 제어 문제에서는 선택된 원자의 희소성 덕분에 매칭 퇄취가 최적 가치 함수로 더 빠르게 수렴한다.
• 연속 제어 문제에서 유도된 저차원 결정성 있는 MDPs에서 이 방법은 경험적으로 성공을 거두었으며, 기저 함수의 수가 증가함에 따라 오차가 감소한다.
• 이론적 보장은 현재 고정된 기저에 한정되어 있으나, 적응형 매칭 퇄취의 경험적 성능은 고차원 문제에 대해 매우 큰 잠재력을 보여준다.