[논문 리뷰] Optimal Transport for Stationary Markov Chains via Policy Iteration

Kevin O’Connor, Kevin McGoff외 1명|arXiv (Cornell University)|2020. 06. 14.

Markov Chains and Monte Carlo Methods참고 문헌 65인용 수 4

한 줄 요약

이 논문은 마르코프 결정 과정과 정책 반복을 활용하여 정적 유한 상태 마르코프 체인을 위한 새로운 최적 운반 프레임워크인 최적 전이 쌍체(Optimal Transition Coupling, OTC)를 제안한다. 이 프레임워크는 장기 평균 비용을 최소화하면서도 마르코프성과 정적 구조를 유지하는 쌍체를 계산한다. 주요 기여는 증명 가능하게 수렴하는 정확한 알고리즘(ExactOTC)과 거의 선형 시간 복잡도를 가지며 빠른 반복을 허용하는 엔트로피 정규화된 변종(EntropicOTC)을 제공함으로써, 큰 상태 공간에서도 효율적인 계산과 통계적 일致성 보장을 가능하게 한다.

ABSTRACT

We study the optimal transport problem for pairs of stationary finite-state Markov chains, with an emphasis on the computation of optimal transition couplings. Transition couplings are a constrained family of transport plans that capture the dynamics of Markov chains. Solutions of the optimal transition coupling (OTC) problem correspond to alignments of the two chains that minimize long-term average cost. We establish a connection between the OTC problem and Markov decision processes, and show that solutions of the OTC problem can be obtained via an adaptation of policy iteration. For settings with large state spaces, we develop a fast approximate algorithm based on an entropy-regularized version of the OTC problem, and provide bounds on its per-iteration complexity. We establish a stability result for both the regularized and unregularized algorithms, from which a statistical consistency result follows as a corollary. We validate our theoretical results empirically through a simulation study, demonstrating that the approximate algorithm exhibits faster overall runtime with low error. Finally, we extend the setting and application of our methods to hidden Markov models, and illustrate the potential use of the proposed algorithms in practice with an application to computer-generated music.

연구 동기 및 목표

• 정적 마르코프 체인의 동역학을 존중하는 제약 조건이 있는 최적 운반 프레임워크를 개발하여, 시간적 의존성을 가지는 확률적 과정 간의 정렬과 비교를 가능하게 한다.
• 특히 큰 상태 공간에서의 경우에 대해 마르코프성과 정적 조건을 만족하는 최적 운반 문제를 해결하는 데 발생하는 계산적 과제를 해결한다.
• 방출 기반 비용을 사용하여 은닉 상태를 쌍체화하는 방식으로 은닉 마르코프 모델(HMMs)로 프레임워크를 확장한다.
• 제안된 알고리즘의 이론적 수렴성과 안정성을 확립하여, 유한 샘플에서의 통계적 일치성을 보장한다.
• 실용적 응용에 적합한 확장 가능한 효율적인 알고리즘을 설계하며, 반복 복잡도가 거의 선형이 되도록 한다.

제안 방법

• 두 마르코프 체인이 유지하는 전이 동역학과 정적 구조를 보존해야 하는 제약 조건이 있는 최적 운반 문제로 Optimal Transition Coupling(OTC) 문제를 수립한다.
• OTC 문제와 마르코프 결정 과정(MDPs) 간의 연결 고리를 설정하여, 이를 해결하기 위해 정책 반복을 활용할 수 있음을 보장한다.
• 정확한 해에 수렴하는 정책 반복 기반 알고리즘인 ExactOTC(알고리즘 1)를 제안하며, 이는 비가역 마르코프 체인에 대해 유한 시간 내에 최적 해에 도달함을 보장한다.
• 엔트로피를 목적 함수에 추가하여 계산 효율성을 향상시키는 정규화된 변종인 EntropicOTC(알고리즘 6)를 도입한다.
• EntropicOTC의 반복 복잡도에 대해 거의 선형 복잡도 상한을 유도하며, 최신 기술 수준의 최적 운반 계산 방법과 동일한 성능을 달성한다.
• OTC 문제의 안정성 분석을 통해 유한 샘플에서의 플러그인 추정기의 통계적 일치성을 유도한다.

실험 결과

연구 질문

• RQ1 전이 동역학과 정적 조건을 강제함으로써 최적 운반을 정적 마르코프 체인에 효과적으로 적용할 수 있는가?
• RQ2 특히 큰 상태 공간에서 OTC 문제를 효율적으로 해결할 수 있는가?
• RQ3 제안된 정규화된 알고리즘의 계산 복잡도는 무엇이며, 상태 공간 크기 증가에 따라 유리하게 스케일링되는가?
• RQ4 표본 추정 전이 행렬의 오차에 대해 해가 안정적인가, 그리고 데이터로부터 일致성 있게 수렴하는가?
• RQ5 은닉 상태를 쌍체화하고 방출 비용을 통합함으로써 이 프레임워크를 은닉 마르코프 모델로 확장할 수 있는가?

주요 결과

• 정리 7에 의해, 비가역 마르코프 체인에 대해 ExactOTC는 유한한 반복 횟수 내에 OTC 문제의 최적 해에 수렴함을 증명하였다.
• 정리 9와 12에 의해, EntropicOTC는 쌍체 행렬 차원에 대해 거의 선형의 반복 복잡도를 확보하였다.
• 입력 전이 행렬의 변화에 대해 OTC 문제의 안정성이 입증되었으며, 이를 정리 13으로 형식화하였다.
• 안정성 결과로부터 플러그인 추정기의 최적 전이 쌍체 및 그 기대 비용에 대한 통계적 일치성이 정리 14의推론로 도출되었다.
• 실험적 검증을 통해 EntropicOTC는 정확한 방법 대비 빠른 런타임과 낮은 오차를 기록하였다.
• 프레임워크는 HMM로의 확장에 성공적으로 적용되었으며, 컴퓨터 생성 음악 생성에 대한 실용적 응용 사례가 제시되었다.