[논문 리뷰] Lower Bound On the Computational Complexity of Discounted Markov Decision Problems

Yi‐Chen Chen, Mengdi Wang|arXiv (Cornell University)|2017. 05. 20.

Reinforcement Learning in Robotics참고 문헌 17인용 수 11

한 줄 요약

이 논문은 유한한 상태 및 행동 공간을 가진 무한할인 마르코프 결정 과정(MDP)을 해결하기 위한 최초의 계산 복잡도 하한을 설정한다. 표준 입력 표현 방식에서는 임의의 랜덤 알고리즘이 ϵ-최적 정책을 계산하기 위해 Ω(|S|²|A|)의 시간이 필요하며, 누적 배열이나 이진 트리와 같은 효율적인 데이터 구조에 입력이 저장되어 있을 경우 Ω(|S||A|/ϵ)의 시간이 필요하다는 것을 증명한다. 이는 입력 구조가 계산 복잡도에 결정적인 영향을 미친다는 것을 드러낸다.

ABSTRACT

We study the computational complexity of the infinite-horizon discounted-reward Markov Decision Problem (MDP) with a finite state space $|\mathcal{S}|$ and a finite action space $|\mathcal{A}|$. We show that any randomized algorithm needs a running time at least $Ω(|\mathcal{S}|^2|\mathcal{A}|)$ to compute an $ε$-optimal policy with high probability. We consider two variants of the MDP where the input is given in specific data structures, including arrays of cumulative probabilities and binary trees of transition probabilities. For these cases, we show that the complexity lower bound reduces to $Ω\left( \frac{|\mathcal{S}| |\mathcal{A}|}ε ight)$. These results reveal a surprising observation that the computational complexity of the MDP depends on the data structure of input.

연구 동기 및 목표

• 유한한 상태 및 행동 공간을 가진 무한할인 마르코프 결정 과정(MDP)을 해결하기 위한 최초의 계산 복잡도 하한을 설정하는 것.
• 입력 데이터 구조의 선택(예: 누적 확률 배열, 이진 트리)이 MDP 알고리즘의 실행 시간에 어떤 영향을 미치는지 분석하는 것.
• 입력 표현 방식이 유리할 경우 MDP에 대해 하한 시간 알고리즘이 존재할 수 있는지 조사하는 것.
• 입력 데이터 구조와 순차적 의사결정 문제의 계산 복잡도 간의 관계를 명확히 하는 것.
• 더 효율적인 강화 학습 및 동적 프로그래밍 알고리즘 설계를 위한 기초 통찰을 제공하는 것.

제안 방법

• MDP 해법기의 질의 복잡도에 대한 하한을 유도하기 위해 행렬 미분 문제(MDP)로의 감소를 사용한다.
• 정책이 단 한 개의 전이만 다를 수 있는 어려운 MDP 인스턴스를 구성하여, 알고리즘이 질의를 통해 이를 구분하도록 유도한다.
• 최소 최대 원리와 확률적 분석을 적용하여 높은 확률로 ϵ-최적 정책을 식별하기 위해 필요한 질의 수를 한도한다.
• 정규 MDP 해법기의 행동을 시뮬레이션하는 알고리즘(µ′)을 설계하고, 이를 행렬 미분 질의로 매핑한다.
• 표준 배열과 구조화된 데이터(누적 합, 이진 트리)의 두 입력 형식에서 질의 복잡도를 분석하여, 후자의 경우 복잡도가 감소함을 보인다.
• 조합론적 추론과 구별 가능한 MDP 인스턴스 쌍의 수를 세는 방식을 사용하여 실행 시간에 대한 점근적 하한을 도출한다.

실험 결과

연구 질문

• RQ1 고정된 확률로 ϵ-최적 정책을 계산하기 위해 필요한 최소 질의 수는 얼마인가?
• RQ2 입력 데이터 구조(예: 배열 vs. 이진 트리)는 MDP를 해결하는 데 있어 계산 복잡도에 어떤 영향을 미치는가?
• RQ3 입력이 누적 확률 배열과 같은 효율적인 데이터 구조에 저장되어 있을 경우, MDP에 대해 하한 시간 알고리즘이 존재할 수 있는가?
• RQ4 MDP에서 입력 표현 방식과 알고리즘 효율성 사이에 본질적인 상충 관계가 존재하는가?
• RQ5 전이를 효율적으로 샘플링할 수 있는 능력이 MDP 해법의 계산 복잡도 감소와 관련이 있는가?

주요 결과

• 표준 입력 표현 방식에서 임의의 알고리즘이 확률 9/10 이상으로 ϵ-최적 정책을 계산하기 위해 Ω(|S|²|A|)의 실행 시간이 필요하다.
• 입력이 누적 확률 배열이나 이진 트리에 저장되어 있을 경우 하한은 Ω(|S||A|/ϵ)로 감소하여 복잡도가 크게 감소함을 시사한다.
• 하한은 입력 데이터 구조에 의해 결정적으로 영향을 받으며, 이는 알고리즘 효율성이 문제 크기 외의 요소에 의해도 영향을 받음을 시사한다.
• 결과는 MDP 복잡도가 입력 표현에 따라 놀랍게 달라지며, 구조화된 입력이 잠재적으로 하한 실행 시간을 가능하게 한다는 것을 드러낸다.
• 특히 구조화된 입력에서 알려진 상한과 비교할 때 하한은 로그 인자 외에는 날카롭게 유지되며, 이는 하한이 타당함을 시사한다.
• 결과는 정책 추정의 샘플 복잡도와 MDP 해법의 계산 복잡도 사이에 깊은 연관성이 있음을 시사하지만, 그 정확한 성격은 아직 미해결이다.