[논문 리뷰] Minimax Testing of Identity to a Reference Ergodic Markov Chain

Geoffrey Wolfer, Aryeh Kontorovich|arXiv (Cornell University)|2019. 01. 31.

Markov Chains and Monte Carlo Methods참고 문헌 22인용 수 5

한 줄 요약

이 논문은 단일 긴 경로를 사용하여 알려진 참조 에르고딕 마르코프 체인이거나 알려진 기준 마르코프 체인으로부터 ε-떨어져 있는지 여부를 결정하기 위한 효율적인 최소최대 검정 절차를 제시한다. 표본 복잡도는 참조 체인의 정적 분포와 혼합 시간에만 의존하며, Õ(1/π⋆ ⋅ max{√d/ε², t_mix})의 거의 최적의 경계를 달성하고 하한과도 일치한다. 알려진 체인에 대한 가정은 필요하지 않다.

ABSTRACT

We exhibit an efficient procedure for testing, based on a single long state sequence, whether an unknown Markov chain is identical to or $\varepsilon$-far from a given reference chain. We obtain nearly matching (up to logarithmic factors) upper and lower sample complexity bounds for our notion of distance, which is based on total variation. Perhaps surprisingly, we discover that the sample complexity depends solely on the properties of the known reference chain and does not involve the unknown chain at all, which is not even assumed to be ergodic.

연구 동기 및 목표

• 알려진 기준 에르고딕 마르코프 체인과의 정체성에 대한 최소최대 검정 절차를 개발하는 것.
• 마르코프 설정에서 총 변동 거리에 대한 날카운 표본 복잡도 경계를 확립하는 것. 이때 알려진 체인이 에르고딕일 것이라는 가정은 하지 않는다.
• 표본 복잡도가 참조 체인의 최소 정적 확률 π⋆ 및 혼합 시간 t_mix에만 의존한다는 것을 보여주는 것.
• 효율적인 검정 알고리즘과 일치하는 정보 이론적 하한을 제공하는 것.
• 제안된 총 변동 기반 거리와 이전의 가짜 거리(예: Dist√(·,·)) 간의 관계를 비교하여 우월성과 감소 가능성을 보여주는 것.

제안 방법

• 검정은 알려지지 않은 체인으로부터의 단일 긴 경로를 사용하며, 그 경로의 경험적 전이 확률을 알려진 기준 체인의 전이 확률과 비교한다.
• 각 상태의 전이 분포에 대해 독립 동일 분포 검정기(예: Valiant 및 Valiant, 2017)를 적용한 상태별 가설 검정 기반 절차이다.
• 표본 복잡도는 참조 체인의 정적 분포 π⋆ 및 혼합 시간 t_mix를 포함하는 새로운 분석을 통해 유도된다.
• √d/π⋆ 대신 max_i {π(i)⁻¹ ‖M̄(i,·)‖₂/₃}로 대체되는 인스턴스 특정 경계가 제안되며, 이는 √d/π⋆보다 훨씬 작을 수 있다.
• 주요 측정 척도로 전이 분포 간의 총 변동 거리를 사용하며, 모든 상태에 대해 균일한 경계를 확보한다.
• 상한과 하한이 worst-case 설정에서 일치하는 이론적 보장을 상한에 기반한 표본 크기 요구량과 일치하는 하한을 통해 확립된다.

실험 결과

연구 질문

• RQ1 알려진 기준 에르고딕 마르코프 체인과의 총 변동 거리에서 알려지지 않은 마르코프 체인이 일치하는지 검정하는 데 있어 최적의 표본 복잡도는 무엇인가?
• RQ2 표본 복잡도가 참조 체인의 구조적 성질(예: 정적 분포 및 혼합 시간)에 따라 어떻게 달라지는가?
• RQ3 표본 복잡도가 알려지지 않은 체인의 성질(에르고딕성 포함)과 독립적으로 유지될 수 있는가?
• RQ4 제안된 총 변동 기반 거리와 이전의 가짜 거리 Dist√(·,·) 사이의 관계는 무엇인가?
• RQ5 유도된 표본 복잡도 상한과 하한은 거의 날카로운가? 어떤 설정에서 일치하는가?

주요 결과

• 표본 복잡도는 Õ(1/π⋆ ⋅ max{√d/ε², t_mix})이며, 거의 최적의 것으로서 참조 체인의 성질에만 의존한다.
• 알려지지 않은 체인이 에르고딕이거나 심지어 비가역적일 필요가 없다. d개 상태를 가진 이상의 가정 외에는 필요하지 않다.
• 인스턴스 특정 경계는 √d/π⋆를 max_i {π(i)⁻¹ ‖M̄(i,·)‖₂/₃}로 대체하며, 이는 √d/π⋆보다 훨씬 작을 수 있다.
• 두 개의 하한 Ω(dt_mix) 및 Ω(√d/(π⋆ε²))이 확립되어 상한이 특정 설정에서 향상될 수 없음을 보여준다.
• 제안된 거리는 Dist√(·,·) 가짜 거리보다 우월하며, Dist√(·,·) 기반 정체성 검정은 새로운 측정 척도 기반 검정으로 감소되며 ε에서 2배의 손실을 겪는다.
• 전체 검정의 시간 복잡도는 O(d(d + m))이며, m은 표본 크기이다. 이는 계산적으로 효율적이다.