[논문 리뷰] State Aggregation Learning from Markov Transition Data

Yaqi Duan, Zheng Tracy Ke외 1명|arXiv (Cornell University)|2018. 11. 06.

Bayesian Modeling and Causal Inference참고 문헌 36인용 수 9

한 줄 요약

이 논문은 스펙트럼 분해와 단일 벡터의 볼록체 근사법을 사용하여 마르코프 전이 데이터로부터 확률적 상태 집합화를 학습하기 위한 데이터 기반, 두 단계 알고리즘을 제안한다. 모델 식별성을 확보하기 위해 앵커 상태를 도입하고, 집합화/분해 분포 추정 및 앵커 상태 식별에 대해 날카로운 통계적 오차 경계를 제공하며, 단일 벡터에 대한 새로운 엔트리별 이탈 경계를 통해 이론적 보장을 확보한다.

ABSTRACT

State aggregation is a popular model reduction method rooted in optimal control. It reduces the complexity of engineering systems by mapping the system's states into a small number of meta-states. The choice of aggregation map often depends on the data analysts' knowledge and is largely ad hoc. In this paper, we propose a tractable algorithm that estimates the probabilistic aggregation map from the system's trajectory. We adopt a soft-aggregation model, where each meta-state has a signature raw state, called an anchor state. This model includes several common state aggregation models as special cases. Our proposed method is a simple two-step algorithm: The first step is spectral decomposition of empirical transition matrix, and the second step conducts a linear transformation of singular vectors to find their approximate convex hull. It outputs the aggregation distributions and disaggregation distributions for each meta-state in explicit forms, which are not obtainable by classical spectral methods. On the theoretical side, we prove sharp error bounds for estimating the aggregation and disaggregation distributions and for identifying anchor states. The analysis relies on a new entry-wise deviation bound for singular vectors of the empirical transition matrix of a Markov process, which is of independent interest and cannot be deduced from existing literature. The application of our method to Manhattan traffic data successfully generates a data-driven state aggregation map with nice interpretations.

연구 동기 및 목표

• 영역 특화 지식이나 수작업으로 정의된 분할에 의존하지 않고 원칙적이고 데이터 기반의 상태 집합화 맵을 학습하기 위한 방법 개발.
• 소프트 상태 집합화 모델의 식별성을 확보하기 위해 주제 모델링에서의 앵커 워드와 유사한 개념인 앵커 상태를 도입.
• 전역 데이터에서 집합화 및 분해 분포를 명시적으로 추정하여 고전적 스펙트럼 방법의 한계를 극복.
• 추정 정확도 및 앵커 상태 복원에 대한 이론적 오차 경계 제공. 상태 공간 크기, 메타상태 수, 혼합 시간에 대한 의존성 포함.
• 맨해튼 택시 여행 데이터에 적용하여 실용적 유용성을 입증하고, 이해할 수 있고 의미 있는 메타상태를 도출.

제안 방법

• empirical 전이 행렬의 스펙트럼 분해를 수행하여 첫 번째 r개의 왼쪽 및 오른쪽 단일 벡터 추출.
• 단일 벡터에 대한 새로운 선형 변환을 적용하여 볼록체 근사법을 통해 집합화 및 분해 분포 추정.
• 단일 벡터의 기하학적 구조를 활용해 추정된 볼록체의 꼭짓점으로서 앵커 상태 식별.
• 변환된 단일 벡터의 함수로 집합화 및 분해 분포를 명시적으로 정의하여 직접 추정 가능하게 구성.
• empirical 전이 행렬의 단일 벡터에 대한 새로운 엔트리별 이탈 경계를 활용해 통계적 보장을 도출.
• 추정 오차 및 앵커 상태 복원의 샘플 복잡도 평가를 위해 총 변동 거리 측도 사용.

실험 결과

연구 질문

• RQ1 메타상태에 대한 사전 지식 없이 마르코프 전이 데이터로부터 확률적 상태 집합화 맵을 학습할 수 있는가?
• RQ2 하나의 경계가 없는 경우 소프트 상태 집합화 모델의 식별성을 어떻게 확보할 수 있는가?
• RQ3 유한 샘플에서 집합화 및 분해 분포를 추정할 때의 통계적 정확도는 어떠한가?
• RQ4 경로 수와 상태 공간 크기가 추정 오차 및 앵커 상태 복원에 어떤 영향을 미치는가?
• RQ5 이 방법은 도시 교통 모델링과 같은 실세계 응용 분야에서 이해할 수 있고 의미 있는 메타상태를 생성할 수 있는가?

주요 결과

• 제안된 방법은 집합화 및 분해 분포 추정에 대해 총 변동 오차 경계를 O(√(p/n))의 비율로 확보하며, 더 많은 앵커 상태가 존재할수록 정확도가 향상된다.
• 단일 벡터 추정 오차는 n^(-1/2)의 속도로 감소하며, 이는 이론적 예측과 일치하며 실험으로도 검증되었다.
• 상태 공간 크기 p와 메타상태 수 r에 비해 경로 수 n이 충분히 클 경우, 모든 앵커 상태를 높은 확률로 복원할 수 있다.
• 맨해튼 택시 여행 데이터 응용에서 추정된 분해 분포는 뉴욕 펜 스테이션과 페리 워터웨이에서 출발하거나 도착하는 여행의 가능성이 높다는 의미 있는 패턴을 드러냈다.
• 제안된 방법을 통해 추정된 전이 행렬은 표준 스펙트럼 추정기보다 총 변동 오차 측면에서 뛰어나며, 동시에 해석 가능한 집합화 및 분해 분포를 제공한다.
• empirical 전이 행렬의 단일 벡터에 대한 엔트리별 이탈 경계는 이론 분석을 가능하게 하는 새로운 기여이며, 기존 문헌에서 유도될 수 없다.