[논문 리뷰] Planning in Observable POMDPs in Quasipolynomial Time

Noah Golowich, Ankur Moitra외 1명|arXiv (Cornell University)|2022. 01. 12.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 한 단계 관측 가능 POMDP에서 계획을 수행하는 데 있어 처음으로 다항 시간에 가까운 시간 복잡도를 갖는 알고리즘을 제시한다. 이는 상태가 잘 분리되어 있을 경우 관측값 역시 잘 분리된다는 약한 관측 가능성 가정 하에, 신규로 제안된 필터 안정성 분석에 기반한다. 주요 기여는 near-optimal 정책 표현을 갖는 증명 가능하게 효율적인 알고리즘과, Exponential Time Hypothesis 하에서의 매칭 난이도 결과를 함께 제공한다는 점이다.

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) are a natural and general model in reinforcement learning that take into account the agent's uncertainty about its current state. In the literature on POMDPs, it is customary to assume access to a planning oracle that computes an optimal policy when the parameters are known, even though the problem is known to be computationally hard. Almost all existing planning algorithms either run in exponential time, lack provable performance guarantees, or require placing strong assumptions on the transition dynamics under every possible policy. In this work, we revisit the planning problem and ask: are there natural and well-motivated assumptions that make planning easy? Our main result is a quasipolynomial-time algorithm for planning in (one-step) observable POMDPs. Specifically, we assume that well-separated distributions on states lead to well-separated distributions on observations, and thus the observations are at least somewhat informative in each step. Crucially, this assumption places no restrictions on the transition dynamics of the POMDP; nevertheless, it implies that near-optimal policies admit quasi-succinct descriptions, which is not true in general (under standard hardness assumptions). Our analysis is based on new quantitative bounds for filter stability -- i.e. the rate at which an optimal filter for the latent state forgets its initialization. Furthermore, we prove matching hardness for planning in observable POMDPs under the Exponential Time Hypothesis.

연구 동기 및 목표

• POMDP에서의 계획이 알려진 계산 난이도에도 불구하고 자연스럽고 타당한 가정 하에 계산적으로 처리 가능해지는 조건을 규명하는 것.
• 기록의 저주를 극복하기 위해, 약한 관측 가능성 하에서 near-optimal 정책이 quasi-succinct한 형태로 기술 가능하다는 것을 보여주는 것.
• 상태 수와 관측 수에 대해 다항 시간 복잡도를 갖는 한 단계 관측 가능한 POMDP에서의 계획을 위한 증명 가능하게 효율적인 알고리즘을 수립하는 것.
• Exponential Time Hypothesis 하에서 매칭 난이도 결과를 제공하여, 알고리즘의 시간 복잡도가 거의 최적임을 보여주는 것.

제안 방법

• 한 단계 관측 가능성의 개념을 도입하여, 잘 분리된 상태 분포가 잘 분리된 관측 분포를 유도함을 보여준다.
• 필터 안정성에 대한 새로운 정량적 경계를 도출하여, 은닉 상태에 대한 믿음이 초기화된 이후 얼마나 빨리 초기화 정보를 잊는지를 측정한다.
• 믿음 수축 분석을 통해, 관측 가능성 가정 하에서 진짜 믿음과 근사 믿음 간의 총 변동 거리가 시간이 지남에 따라 지수적으로 감소함을 보여준다.
• 믿음 갱신 과정의 재귀적 분해를 통해 고려해야 할 서로 다른 믿음 상태의 수를 제한한다.
• 근사 정책의 quasi-succinct성 특성을 활용하여, 믿음 공간의 철저한 이산화에 기반한 동적 프로그래밍 접근법을 적용한다.
• 3-SAT로의 축약을 통해 매칭 난이도 결과를 증명하여, 임의의 알고리즘이 하위 지수 시간 내에 문제를 해결할 경우 Exponential Time Hypothesis를 위반하게 된다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 관측의 정보성에 대한 자연스럽고 타당한 가정 하에서 POMDP에서의 계획이 효율적으로 수행될 수 있는가?
• RQ2 잘 분리된 상태가 잘 분리된 관측을 유도한다는 가정이 near-optimal 정책이 간결하게 기술 가능하다는 것을 의미하는가?
• RQ3 전이 동역학에 강력한 제약을 두지 않고도 관측 가능한 POMDP에서 다항 시간에 가까운 알고리즘을 설계할 수 있는가?
• RQ4 관측 가능한 POMDP에서의 계획의 계산 복잡도 경계는 무엇이며, Exponential Time Hypothesis와 같은 기본 복잡도 가정과 어떻게 관련되는가?
• RQ5 믿음 수렴 속도(필터 안정성)를 정량적으로 경계할 수 있는가? 이를 통해 효율적인 계획이 가능해지는가?

주요 결과

• 논문은 한 단계 관측 가능한 POMDP에서의 계획을 위한 다항 시간에 가까운 알고리즘을 제시한다. 이 알고리즘의 실행 시간은 $\exp(\tilde{O}(\log^2(SAH)))$ 이하로 제한되며, 여기서 $S$, $A$, $H$는 상태 수, 행동 수, 수평 길이이다.
• 한 단계 관측 가능성 가정 하에서 near-optimal 정책는 quasi-succinct한 기술을 갖는다. 즉, 다항 시간에 가까운 수의 매개변수로 표현 가능하다.
• 논문은 필터 안정성에 대한 새로운 정량적 경계를 확립한다: 진짜 믿음과 근사 믿음 간의 총 변동 거리가 $\exp(-\Omega(\gamma^2 t))$ 의 속도로 감소함을 보여준다. 여기서 $\gamma$는 관측 가능성 매개변수이고 $t$는 시간이다.
• 믿음 수축 속도는 상수 상수까지 정확하게 타당함이 입증되었으며, 감소율에서 $\gamma$의 제곱 의존성은 향상될 수 없다.
• 매칭 난이도 결과가 증명되었다: Exponential Time Hypothesis 하에, 임의의 알고리즘이 시간 $\exp(O((SAH/\epsilon)^c))$ 내에 문제를 해결할 수는 없다. 여기서 $c>0$ 이고 $\epsilon<1/m$ 이며, $m$은 3-SAT 인스턴스의 절단 수이다.
• 이 결과는 제안된 다항 시간에 가까운 알고리즘이 실행 시간 복잡도 측면에서 거의 최적임을 시사한다.