[논문 리뷰] A review on statistical inference methods for discrete Markov random fields

Julien Stoehr|arXiv (Cornell University)|2017. 04. 11.

Military Defense Systems Analysis인용 수 11

한 줄 요약

이 논문은 이산 마르코프 무작위장(MRF)에 대한 통계적 추론 방법을 검토하며, 정규화 상수의 비계산성으로 인한 불가능한 우도 문제에 초점을 맞춘다. 이는 이방형, 변분 방법, 몬테카를로 기법—특히 근사 베이지안 계산(ABC)—을 포함한 파라미터 추정 및 모형 선택 기법들을 관측 가능 및 은닉 MRF 모두에 대해 조사한다. 특히 이징 및 품스 모형에 중점을 둔다.

ABSTRACT

Developing satisfactory methodology for the analysis of Markov random field is a very challenging task. Indeed, due to the Markovian dependence structure, the normalizing constant of the fields cannot be computed using standard analytical or numerical methods. This forms a central issue for any statistical approach as the likelihood is an integral part of the procedure. Furthermore, such unobserved fields cannot be integrated out and the likelihood evaluation becomes a doubly intractable problem. This report gives an overview of some of the methods used in the literature to analyse such observed or unobserved random fields.

연구 동기 및 목표

• 이산 마르코프 무작위장에서 정규화 상수가 계산이 불가능한 문제로 인해 표준 우도 기반 추론이 어려운 기본적인 과제를 해결하기 위해.
• 관측 가능 및 은닉 MRF 모두에 대해, 특히 베이지안 설정에서의 기존 통계적 추론 방법을 조사하고 비교하기 위해.
• ABC, 의사우도, 변분 방법과 같은 근사 추론 기법의 성능과 한계를 MRF 맥락에서 평가하기 위해.
• 충분 통계량이 가용하지 않을 경우 MRF에서의 모형 선택 과제를 검토하고, ABC 기반 접근법의 일관성과 정확도를 평가하기 위해.
• 은닉 MRF에서의 추론을 위한 적절한 요약 통계량과 알고리즘 선택에 대한 지침을 제공하기 위해.

제안 방법

• 에너지 함수를 통한 조건부 분포와 전체 공동 분포 간의 관계를 설명하는 지브스-마르코프 등가성에 대해 검토하지만, 정규화 상수가 계산이 불가능함을 강조한다.
• 정규화 상수가 정확히 필요하지 않은 대체 우도 방법으로서 의사우도 및 변분 근사에 대해 논의한다.
• 베이지안 MRF 추론에서 사후 분포 계산을 위한 마르코프 체인 몬테카를로(MCMC) 기법—메트로폴리스-하스팅스 및 지브스 샘플러 포함—에 대해 다룬다.
• 우도 기반 방법이 아닌 방법으로서 근사 베이지안 계산(ABC)을 상세히 기술하며, 요약 통계량과 거리 임계값을 사용한다.
• 관측된 데이터와 일치하는 입자를 선택하기 위해 허용 오차 및 경험적 분위수를 사용하는 ABC 모형 선택 알고리즘을 개략적으로 기술한다.
• 후행 확률를 요약 통계량으로 사용하거나 局부 오차율을 통한 정보성 통계량의 적응적 선택을 통한 고급 ABC 기법들을 검토한다.

실험 결과

연구 질문

• RQ1 정규화 상수가 계산이 불가능할 경우 이산 마르코프 무작위장에서 통계적 추론는 어떻게 수행할 수 있는가?
• RQ2 의사우도, 변분 방법, MCMC 기법의 상대적인 강점과 한계는 MRF 맥락에서 어떻게 평가할 수 있는가?
• RQ3 충분 통계량이 가용하지 않을 경우 MRF에서 ABC가 모형 선택에 대해 언제 일관성이 있는가?
• RQ4 은닉 MRF에서 ABC 기반 추론의 정확성과 효율성을 향상시키기 위해 요약 통계량은 어떻게 설계할 수 있는가?
• RQ5 고차원 MRF 모형 선택 문제에서 정보성 요약 통계량을 효과적으로 선택하기 위한 전략은 무엇인가?

주요 결과

• MRF에서 정규화 상수가 계산이 불가능하여 표준 우도 기반 추론가 불가능하며, 이는 이중적으로 계산이 불가능한 문제를 통계 분석의 핵심으로 만든다.
• 충분한 요약 통계량을 사용할 경우, 지수가족 MRF에서는 ABC가 모형 선택에 대해 일관성이 있을 수 있으나, 은닉 MRF와 같은 비지수가족에서는 이는 드문 경우이다.
• 은닉 MRF에서는 저차원의 충분 통계량이 없기 때문에 ABC 모형 선택은 요약 통계량 선택에 매우 민감하며, 종종 일관성 없는 결과를 초래한다.
• Stoehr 등(2015)의 연결 성분 통계량을 사용한 방법은 적응적이고 정보성 있는 요약 통계량 선택을 가능하게 하지만, 저차원의 경우에만 적용 가능하다.
• 랜덤 포레스트를 사용한 ABC(Pudlo 등, 2015)는 적응적 통계량과 기계학습 기반 校정을 결합함으로써 ABC 모형 선택의 향상을 위한 유망한 길을 제시한다.
• 정규화 상수의 정확한 계산은 재귀 알고리즘을 사용해 작은 격자에서는 가능하지만, 지수적 복잡도로 인해 큰 시스템에서는 계산적으로 불가능해진다.