[논문 리뷰] Quantum POMDPs

Jennifer Barry, Daniel T. Barry외 1명|arXiv (Cornell University)|2014. 06. 11.

Quantum Computing Algorithms and Architecture참고 문헌 13인용 수 70

한 줄 요약

이 논문은 민감도 상태 도달 가능성(decision problem)이 POMDPs에서 결정 가능하지만, QOMDPs에서는 양자 상태 중첩과 얽힘으로 인해 결정 불가능해지는 바, 고전적 POMDPs와 양자적 POMDPs 간의 근본적인 계산 가능성 격차를 드러내는, 고전적 POMDPs의 양자 버전인 양자 관측 마르코프 결정 과정(QOMDPs)을 제안한다.

ABSTRACT

We present quantum observable Markov decision processes (QOMDPs), the quantum analogues of partially observable Markov decision processes (POMDPs). In a QOMDP, an agent's state is represented as a quantum state and the agent can choose a superoperator to apply. This is similar to the POMDP belief state, which is a probability distribution over world states and evolves via a stochastic matrix. We show that the existence of a policy of at least a certain value has the same complexity for QOMDPs and POMDPs in the polynomial and infinite horizon cases. However, we also prove that the existence of a policy that can reach a goal state is decidable for goal POMDPs and undecidable for goal QOMDPs.

연구 동기 및 목표

• . 이 논문은 민감도 상태가 고전적 확률 분포가 아닌 양자 상태인 QOMDPs의 양자 일반화를 체계화하고자 한다.
• . 이는 고전적 POMDPs와 비교하여 양자 환경에서의 결정 문제의 계산 복잡도와 결정 가능성(computational complexity and decidability)을 조사하고자 한다.
• . 양자 제어와 불확실한 환경에서의 추론이 고전적 대응체와 기초적으로 계산 가능성 측면에서 다를 수 있는지 이해하고자 한다.
• . 양자 부분 관측 하에서의 결정론적 기초 결과를 수립함으로써, 양자 제어와 고장 내성에 관련된 기초를 마련하고자 한다.

제안 방법

• . QOMDPs는 상태가 양자 상태이며, 동작이 초연산자(superoperators)이고 관측이 양성 연산자값 측정(POVMs)인 튜플 ⟨S, A, T, O, R, γ⟩로 정의된다.
• . 민감도 상태는 고전적 POMDPs의 베이지안 업데이트를 일반화한 양자 연산(초연산자)을 통해 진화한다.
• . 이 논문은 트리 기반 정책 표현과 그래프 도달 가능성 분석을 사용하여 POMDPs의 목표 상태 도달 가능성 문제를 유한 상태 MDP 문제로 환원한다.
• . QOMDPs에서의 결정 불가능성을 행렬 사라짐 문제(matrix mortality problem)로의 환원을 통해 증명하며, 양자 진화가 결정 불가능한 계산 과정을 시뮬레이션할 수 있음을 보여준다.
• . 양자 상태 중첩과 얽힘을 활용하여 도달 가능성 문제가 알고리즘적으로 결정 불가능한 시스템을 구성한다.
• . 핵심 기술적 도구로는 양자 상태 트리와 측정 및 초연산자 진화를 통해 고전 정책 트리를 양자 민감도 상태로 매핑하는 방법을 사용한다.

실험 결과

연구 질문

• RQ1 . 고전적 POMDPs에서 결정 가능한 목표 상태 도달 가능성 문제에 대해 QOMDPs에서도 결정 가능한가?
• RQ2 . 유한 및 무한 수명 주기의 경우 QOMDPs에서 정책 존재 문제의 계산 복잡도는 POMDPs와 비교해 어떻게 되는가?
• RQ3 . 양자 중첩과 얽힘은 고전적 경우에서는 결정 가능한 결정 문제에서 결정 불가능성을 초래할 수 있는가?
• RQ4 . 부분 관측 하에서의 양자 제어와 추론은 고전적 대응체와 계산 가능성 측면에서 어떻게 다를 수 있는가?
• RQ5 . 고전적 POMDP 알고리즘의 양자 대응체가 존재하는가? 그리고 그 복잡도 상한은 무엇인가?

주요 결과

• . POMDPs의 경우 목표 상태 도달 가능성은 결정 가능하며, 이는 유한 상태 MDP 도달 가능성 문제로 환원되고 정책 유도 상태 전이의 그래프 기반 분석을 통해 해결 가능하다.
• . 반면 QOMDPs의 경우 목표 상태 도달 가능성은 결정 불가능하다. 이는 행렬 사라짐 문제로의 환원을 통해 증명되었으며, 이 문제는 결정 불가능한 것으로 알려져 있다.
• . 유한 및 무한 수명 주기의 경우, 특정 예상 보상을 달성하는 정책의 존재성 문제의 복잡도는 QOMDPs와 POMDPs 모두에서 PSPACE-완전이다.
• . 결정 불가능성은 양자 연산이 결정 불가능한 계산 문제를 인코딩할 수 있도록 상태를 중첩 및 얽힘시키는 능력에서 기인한다.
• . 이 논문은 양자 시스템이 비결정적이고 정지하지 않는 과정을 시뮬레이션할 수 있으며, 이러한 과정은 유한 시간 내에 알고리즘적으로 분석할 수 없다는 것을 입증한다.
• . 도달 가능성의 결정 불가능성에도 불구하고, 이 논문은 양 모델에서 정책 존재 문제가 PSPACE에 속한다는 것을 보여주며, 정책 존재성과 도달 가능성의 복잡도 사이에 뚜렷한 차이가 있음을 시사한다.