[논문 리뷰] State Compression of Markov Processes via Empirical Low-Rank Estimation.

Anru R. Zhang, Mengdi Wang|arXiv (Cornell University)|2018. 02. 08.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 유한 상태 마르코프 과정을 압축하기 위한 스펙트럼 방법을 제안하며, 경험적 저랭크 추정을 통해 압축된 상태 공간과 그 배경이 되는 상태 집합 구조를 복원한다. 추정 오차 및 복원 오차에 대한 상한과 일치하는 최소 최대 하한을 통해 이론적 보장을 확립하여, 저랭크 가정 하에 상태 압축에서의 최적성을 입증한다.

ABSTRACT

Model reduction is a central problem in analyzing complex systems and high-dimensional data. We study the state compression of finite-state Markov process from its empirical trajectories. We adopt a low-rank model which is motivated by the state aggregation of controlled systems. A spectral method is proposed for estimating the frequency and transition matrices, estimating the compressed state spaces, and recovering the state aggregation structure if there is any. We provide upper bounds for the estimation and recovery errors and matching minimax lower bounds.

연구 동기 및 목표

• 높은 차원의 마르코프 과정을 효율적인 분석을 위해 낮은 차원의 표현으로 줄이는 데 도전한다.
• 유한 상태 마르코프 과정의 빈도 행렬과 전이 행렬을 경험적 궤적에서 추정한다.
• 시스템에 존재할 경우 그 배경이 되는 상태 집합 구조를 식별하고 복원한다.
• 압축된 상태 공간의 추정 및 복원 오차에 대한 이론적 오차 한계를 제공한다.
• 저랭크 모델 하에서 상태 압축의 기본 한계를 규명하기 위해 일치하는 최소 최대 하한을 통해 제안된 방법의 최소 최대 최적성을 확립한다.

제안 방법

• 마르코프 과정의 경험적 궤적에서 전이 행렬과 빈도 행렬을 추정하기 위한 스펙트럼 방법이 개발된다.
• 추정된 빈도 행렬과 전이 행렬에 저랭크 행렬 근사법을 적용하여 압축된 상태 공간을 식별한다.
• 압축된 상태에 대응하는 주요 부분공간을 추출하기 위해 스펙트럼 분해를 활용한다.
• 압축된 상태와의 정렬도를 기반으로 저랭크 성분을 군집화하여 상태 집합 구조를 복원한다.
• 이론적 분석은 행렬 농도 부등식을 사용하여 추정 오차 및 복원 오차에 대한 상한을 유도한다.
• 저랭크 모델 하에서 상태 압축의 기본 한계를 규명하기 위해 최소 최대 하한을 도출한다.

실험 결과

연구 질문

• RQ1 유한 상태 마르코프 과정의 경험적 궤적을 사용하여 기저 전이 행렬과 빈도 행렬을 정확하게 추정할 수 있는가?
• RQ2 마르코프 과정의 상태 공간은 얼마나 압축할 수 있으며, 그 과정에서 본질적인 역학을 유지할 수 있는가?
• RQ3 진짜 상태 집합 구조가 경험 데이터로부터 복원될 수 있는 조건은 무엇인가?
• RQ4 저랭크 가정 하에서 표본 크기와 시스템 차원에 따라 추정 오차 및 복원 오차는 어떻게 척도화되는가?
• RQ5 제안된 방법은 상태 압축의 오차 한계 측면에서 최소 최대 최적인가?

주요 결과

• 제안된 스펙트럼 방법은 저랭크 가정 하에서 빈도 행렬과 전이 행렬의 추정 오차율을 최적화한다.
• 기저 시스템이 저랭크 구조를 띠고 있을 경우 진짜 상태 집합 구조의 복원이 가능하다.
• 추정 오차 및 복원 오차에 대한 상한이 도출되었으며, 로그 인자까지의 정밀도에서 타당하다.
• 일치하는 최소 최대 하한이 확립되어 방법의 이론적 최적성을 확인한다.
• 진짜 집합 구조가 사전에 알려져 있지 않은 경우에도 이 방법은 효과적으로 압축된 상태 표현을 식별한다.
• 경험적 궤적과 기저 마르코프 과정에 대한 온건한 정규성 조건 하에서 이론적 보장이 유지된다.