[논문 리뷰] Testing Symmetric Markov Chains from a Single Trajectory

Constantinos Daskalakis, Nishanth Dikkala외 1명|arXiv (Cornell University)|2017. 04. 22.

Machine Learning and Algorithms인용 수 11

한 줄 요약

이 논문은 단일 궤적을 이용해 대칭 마르코프 체인의 동일성 테스트를 위한 새로운 프레임워크를 제안한다. 전체 변동 거리의 궤적 간 스케일링에 기반한 새로운 차이 개념을 제안하며, 이는 샘플 복잡도가 로그 인자까지 날카롭게 제한된 효율적인 테스터를 제공한다. 이에 따라 $\tilde{O}(\text{HitT}_Q \times \text{polylog}(\text{HitT}_Q) + n/\varepsilon)$개의 샘플로 충분하며, 특정 조건 하에서 하한선 $\tilde{\theta}(n/\varepsilon)$와 일치함을 보인다.

ABSTRACT

Classical distribution testing assumes access to i.i.d. samples from the distribution that is being tested. We initiate the study of Markov chain testing, assuming access to a single trajectory of a Markov Chain. In particular, we observe a single trajectory X0,...,Xt,... of an unknown, symmetric, and finite state Markov Chain M. We do not control the starting state X0, and we cannot restart the chain. Given our single trajectory, the goal is to test whether M is identical to a model Markov Chain M0 , or far from it under an appropriate notion of difference. We propose a measure of difference between two Markov chains, motivated by the early work of Kazakos [Kaz78], which captures the scaling behavior of the total variation distance between trajectories sampled from the Markov chains as the length of these trajectories grows. We provide efficient testers and information-theoretic lower bounds for testing identity of symmetric Markov chains under our proposed measure of difference, which are tight up to logarithmic factors if the hitting times of the model chain M0 is O(n) in the size of the state space n.

연구 동기 및 목표

• 단일의 재시작 불가 궤적이 유일하게 이용 가능한 상황에서 마르코프 체인 동일성 테스트 문제를 다루는 것.
• 최악의 시작 상태 하에서의 구별 불가능성을 반영하는 의미 있는 마르코프 체인 간 차이 개념을 정의하는 것.
• 이 새로운 프레임워크 하에서 효율적인 테스팅 알고리즘과 정보 이론적 하한선을 확립하는 것.
• 특히 도달 시간과 체인 구조와의 관계에서 대칭 마르코프 체인에 대한 동일성 테스팅의 샘플 복잡도를 분석하는 것.
• 향후 두 샘플 테스팅, 볼록 조합, 시간 집계 체인에 대한 연구의 기반을 마련하는 것.

제안 방법

• 체인의 궤적 분포 간 전체 변동 거리의 渐진적 스케일링에 기반한 마르코프 체인 간 새로운 거리 척도를 제안한다.
• 체인의 전이 행렬에서 유도된 행렬의 고유값 간격을 통해 거리의 스펙트럼 특성화를 이용한다.
• 다른 매개변수 설정 하에서 모델 간 통계적 거리를 유한하게 제한하기 위해 궤적 단어에 대한 농도 및 충돌 분석을 적용한다.
• 확률적 추론과 마르코프 부등식을 사용해 충돌 수 계산으로 하한선을 도출하기 위해 단어 생성 문제로의 환원을 수행한다.
• 적대적 체인을 시뮬레이션하기 위해 전이 행렬에 대한 명시적 분포를 구성하여 특정 조건 하에서의 구별 불가능성을 증명한다.
• 이 프레임워크를 활용해 샘플 복잡도에 대한 상한과 하한을 동시에 도출하며, 로그 인자까지 날카로운 일치를 보여준다.

실험 결과

연구 질문

• RQ1 단일 궤적이 유일하게 이용 가능한 상황에서 대칭 마르코프 체인의 동일성 테스팅에 대한 최적의 샘플 복잡도는 무엇인가?
• RQ2 모델 체인의 도달 시간이 동일성 테스팅의 샘플 복잡도에 어떤 영향을 미치는가?
• RQ3 제안된 거리 척도는 최악의 시작 상태 하에서 단일 궤적 관측 하에서의 구별 불가능성을 포괄할 수 있는가?
• RQ4 체인 간의 거리와 그 $k$-단계 전이 행렬 간의 거리 사이의 관계는 무엇인가?
• RQ5 이 프레임워크는 두 샘플 테스팅 및 체인의 볼록 조합으로 확장될 수 있는가?

주요 결과

• 제안된 거리 척도는 궤적 간 전체 변동 거리의 渐진적 스케일링을 포괄하여 단일 궤적 관측 하에서 의미 있는 차이 개념을 가능하게 한다.
• 샘플 복잡도 $\tilde{O}(\text{HitT}_Q \times \text{polylog}(\text{HitT}_Q) + n/\varepsilon)$를 갖는 효율적인 동일성 테스터를 설계하였으며, $\text{HitT}_Q = \tilde{O}(n)$일 경우 하한선과 로그 인자까지 일치함을 보였다.
• 샘플 복잡도에 대해 $\tilde{\theta}(n/\varepsilon)$의 하한선을 확립하였으며, 도달 시간 가정 하에서 $n/\varepsilon$ 항이 날카롭게 tight함을 보였다.
• 이 프레임워크는 정적 분포는 동일하지만 전이 구조가 다른 체인이 공통의 연결 성분에 속한 시작 상태에서 단일 궤적으로부터 구별 불가능할 수 있음을 보여주었다.
• 충돌 수 분석을 통해 모델 간의 통계적 차이를 식별할 수 있으며, 제1형 및 제2형 충돌이 핵심적인 통계적 차이를 제공함을 분석하였다.
• 논문은 상한선에서의 도달 시간 의존성은 제거 가능할 수 있으며, $\tilde{\theta}(n/\varepsilon)$가 진정한 샘플 복잡도일 것이라 추측한다.