[논문 리뷰] Reachability Analysis of Quantum Markov Decision Processes

Shenggang Ying, Mingsheng Ying|arXiv (Cornell University)|2014. 06. 24.

Quantum Computing Algorithms and Architecture참고 문헌 31인용 수 9

한 줄 요약

이 논문은 초월적 초상태와 측정 기반 스케줄러를 사용하여 고전적 MDP를 양자 시스템으로 확장함으로써 비결정적이고 동시적인 양자 프로그램을 위한 의미론적 모델로 양자 마르코프 결정 과정(qMDPs)을 도입한다. 유한 및 무한 수명 주기의 도달 가능성 문제의 결정 가능성과 복잡도를 입증하고, qMDPs에서 최적의 스케줄러가 존재하지 않을 수 있음을 증명하며, 모든 스케줄러에 대해 최대 도달 가능성 확률을 계산하는 알고리즘을 제공한다.

ABSTRACT

We introduce the notion of quantum Markov decision process (qMDP) as a semantic model of nondeterministic and concurrent quantum programs. It is shown by examples that qMDPs can be used in analysis of quantum algorithms and protocols. We study various reachability problems of qMDPs both for the finite-horizon and for the infinite-horizon. The (un)decidability and complexity of these problems are settled, or their relationships with certain long-standing open problems are clarified. We also develop an algorithm for finding optimal scheduler that attains the supremum reachability probability.

연구 동기 및 목표

• 비결정적이고 동시적인 양자 프로그램을 위한 의미론적 모델을 양자 마르코프 결정 과정(qMDPs)을 사용하여 형식화하는 것.
• qMDPs의 도달 가능성 분석을 연구하며, 특히 유한 및 무한 수명 주기 문제에 집중하는 것.
• qMDPs에서 도달 가능성 문제의 결정 가능성과 계산 복잡도를 규명하는 것.
• 모든 스케줄러에 대해 최대 도달 가능성 확률을 계산하는 알고리즘을 개발하는 것.
• 고전적 MDP와 qMDPs 간의 차이, 특히 최적의 스케줄러 존재성 측면에서의 차이를 명확히 하는 것.

제안 방법

• 고전적 MDP의 양자 일반화로 qMDPs를 정의하며, 이는 이산 상태를 힐베르트 공간으로, 동작을 초상수로 대체한다.
• 스케줄러를 시스템 진화 중 측정 결과에 기반해 동작을 선택하는 함수로 모델링하며, 상태 정보에 기반하지는 않는다.
• 주어진 스케줄러 하에서 목표 부분공간 B에 도달할 확률을 도달 가능성 확률으로 정의하고, 모든 스케줄러에 대해 최대 도달 가능성 확률을 정의한다.
• 행렬 노름과 스펙트럼 반경 분석을 사용하여 상태 진화의 수렴성을 특성화하며, 특히 초상수 조합의 극한과의 관련성을 다룬다.
• 행렬 이론의 결과, 특히 공동 스펙트럼 반경과 DLS(Dynamical Lyapunov Stability) 조건을 활용하여 장기적 행동을 분석한다.
• 최대 도달 가능성 확률이 1임과 동시에 초상수의 조합이 노름 기준으로 0으로 수렴할 때에만 성립함을 증명하며, 도달 가능성과 연산자 수렴성 간의 연결 고리를 설정한다.

실험 결과

연구 질문

• RQ1 qMDPs에 대해 유한 수명 주기의 도달 가능성 문제는 결정 가능한가? 그리고 그 계산 복잡도는 무엇인가?
• RQ2 주어진 초기 상태에 대해 최대 도달 가능성 확률을 달성하는 최적의 스케줄러가 항상 qMDP에 존재하는가?
• RQ3 qMDPs에서 무한 수명 주기의 도달 가능성 문제의 결정 가능성 상태는 무엇인가?
• RQ4 도달 가능성과 수렴성 측면에서 qMDPs는 고전적 MDP와 양자 마르코프 체인과 어떻게 다를까?
• RQ5 최대 도달 가능성 확률은 알고리즘적으로 계산 가능할 수 있으며, 그러한 알고리즘의 복잡도는 무엇인가?

주요 결과

• qMDPs의 유한 수명 주기 도달 가능성 문제는 결정 가능하며 다항 시간 내에 해결 가능하다.
• 일반적으로 무한 수명 주기 도달 가능성 문제는 결정 불가능하지만, 초상수 집합의 공동 스펙트럼 반경과 관련된 특정 조건 하에서는 결정 가능하다.
• 고정된 초기 상태에 대해서도 최대 도달 가능성 확률을 달성하는 스케줄러가 존재하지 않는 qMDPs가 존재한다. 이는 고전적 MDP와는 다름.
• 최대 도달 가능성 확률이 1임은 스케줄러의 경로를 따라 초상수의 조합이 노름 기준으로 0으로 수렴할 때에만 성립한다.
• 초상수 집합의 공동 스펙트럼 반경이 1 미만인지 여부를 판단하는 문제는 거의 확실한 도달 가능성 여부를 확인하는 것과 동치이며, DLS 조건을 통해 결정 가능하다.
• 반복 초상수의 극한 행동을 분석함으로써 최대 도달 가능성 확률을 계산하는 알고리즘을 개발하였다.