[논문 리뷰] Scan Order in Gibbs Sampling: Models in Which it Matters and Bounds on How Much

Bryan He, Christopher De외 2명|arXiv (Cornell University)|2016. 06. 10.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 19

한 줄 요약

이 논문은 깁스 샘플링에서 스캔 순서의 영향을 조사하며, 기존에 오랫동안 널리 여겨졌던 '시스템적 스캔와 무작위 스캔 간의 혼합 시간 차이는 최대 로그 인자 정도일 것'이라는 추측과는 달리, 시스템적 스캔가 무작위 스캔보다 다항 인자 정도로 훨씬 더 빠르거나 더 느리게 혼합할 수 있음을 입증한다. 저자들은 상태 공간을 확장하여 도전도를 사용하는 방법을 제안하여, 약한 조건 하에서 스캔 순서가 혼합 시간에 미치는 영향이 다항 인자 범위 내에서만 국한됨을 증명함으로써, MCMC 샘플링 분야에서 핵심적인 이론적 질문을 해결한다.

ABSTRACT

Gibbs sampling is a Markov Chain Monte Carlo sampling technique that iteratively samples variables from their conditional distributions. There are two common scan orders for the variables: random scan and systematic scan. Due to the benefits of locality in hardware, systematic scan is commonly used, even though most statistical guarantees are only for random scan. While it has been conjectured that the mixing times of random scan and systematic scan do not differ by more than a logarithmic factor, we show by counterexample that this is not the case, and we prove that that the mixing times do not differ by more than a polynomial factor under mild conditions. To prove these relative bounds, we introduce a method of augmenting the state space to study systematic scan using conductance.

연구 동기 및 목표

• 시스템적 스캔와 무작위 스캔 간의 혼합 시간 차이가 최대 로그 인자 정도일 것이라는 오랫동안 널리 여겨진 추측에 도전하기 위해.
• 특정 모델에서 시스템적 스캔가 무작위 스캔보다 훨씬 더 빠르거나 더 느리게 혼합할 수 있는지 조사하기 위해.
• 약한 조건 하에서 다양한 스캔 순서 간 혼합 시간의 상대적 경계를 설정하기 위해.
• 상태 공간을 확장하여 도전도 분석을 활용한 새로운 방법을 개발하기 위해.

제안 방법

• 원래의 변수와 스캔 인덱스를 포함하는 확장된 상태 공간을 도입하여 시스템적 스캔를 마코프 체인으로 모델링하기 위해.
• 확장된 체인의 전이 커널을 정의하여 시스템적 스캔의 역동성을 유지하면서 도전도 분석이 가능하도록 하기 위해.
• 도전도를 사용하여 혼합 시간을 경계짓기 위해 마코프 체인 이론에서 알려진 부등식을 활용하기 위해.
• 확장된 시스템적 스캔 체인의 도전도가 무작위 스캔 도전도의 일정 비율 이상으로 하한이 있음을 증명하기 위해.
• 확장된 시스템적 스캔의 도전도를 무작위 스캔의 도전도와 연결하여 혼합 시간 간의 상대적 경계를 설정하기 위해.
• 이 경계를 적용하여 약한 조건 하에서 스캔 순서가 혼합 시간에 영향을 미치는 정도가 다항 인자 범위 내에서만 국한됨을 보여주기 위해.

실험 결과

연구 질문

• RQ1 어떤 모델에서나 시스템적 스캔가 무작위 스캔보다 로그 인자보다 더 큰 인자만큼 더 빠르게 혼합할 수 있는가?
• RQ2 나쁜 순열을 사용하는 시스템적 스캔가 무작위 스캔보다 상수 인자보다 더 느리게 혼합할 수 있는가?
• RQ3 모든 모델에 걸쳐 무작위 스캔와 시스템적 스캔 간 혼합 시간의 가장 날카로운 상대적 경계는 무엇인가?
• RQ4 실제로 시스템적 스캔의 순열 선택이 혼합 시간에 어떤 영향을 미치는가?
• RQ5 상태 공간을 확장함으로써 도전도를 효과적으로 적용하여 시스템적 스캔를 분석할 수 있는가?

주요 결과

• 특정 순열을 사용하는 시스템적 스캔가 무작위 스캔보다 로그 인자보다 훨씬 더 빠르게 혼합하는 반례를 구성하여, 추측의 방향(2)를 반증하였다.
• 최악의 시스템적 스캔 순열이 무작위 스캔보다 다항 인자 정도로 더 느리게 혼합하는 또 다른 모델을 제시하여, 추측의 방향(1)을 반증하였다.
• 약한 조건 하에서 시스템적 스캔의 혼합 시간이 무작위 스캔 혼합 시간의 다항 인자 범위 내에서 상한이 있음을 입증하여 상대적 경계를 확립하였다.
• 확장된 시스템적 스캔 체인의 도전도가 무작위 스캔 체인 도전도의 일정 비율 이상임을 입증하여 이론적 경계를 가능하게 하였다.
• 실험적 검증을 통해 혼합 시간이 스캔 순열에 따라 크게 달라짐을 확인하여 이론적 결과를 지지하였다.
• 제안된 상태 공간 확장 방법은 이전에 가역성이 부족하여 어려웠던 시스템적 스캔에 대한 도전도 기반 기법의 적용을 가능하게 하였다.