[논문 리뷰] Information Theoretic Properties of Markov Random Fields, and their Algorithmic Applications

Linus Hamilton, Frederic Koehler외 1명|arXiv (Cornell University)|2017. 05. 31.

Algorithms and Data Compression인용 수 24

한 줄 요약

이 논문은 차수의 상한이 있는 그래프에서 고차 상호작용을 가진 마르코프 무작위 필드(MRFs)를 학습하기 위한 정보이론적 프레임워크를 제안한다. 제로섬 게임 접근법을 통해 Bresler의 상호정보량 하한을 일반화함으로써, 저자들은 $ r $-차 상호작용을 가진 MRFs를 $ n^r $ 시간과 $ \log n $ 표본 복잡도로 학습하는 알고리즘을 설계하였다. 이는 비퇴화 조건 하에서 차수 의존성에 대해 최적이다.

ABSTRACT

Markov random fields area popular model for high-dimensional probability distributions. Over the years, many mathematical, statistical and algorithmic problems on them have been studied. Until recently, the only known algorithms for provably learning them relied on exhaustive search, correlation decay or various incoherence assumptions. Bresler gave an algorithm for learning general Ising models on bounded degree graphs. His approach was based on a structural result about mutual information in Ising models. Here we take a more conceptual approach to proving lower bounds on the mutual information through setting up an appropriate zero-sum game. Our proof generalizes well beyond Ising models, to arbitrary Markov random fields with higher order interactions. As an application, we obtain algorithms for learning Markov random fields on bounded degree graphs on $n$ nodes with $r$-order interactions in $n^r$ time and $\log n$ sample complexity. The sample complexity is information theoretically optimal up to the dependence on the maximum degree. The running time is nearly optimal under standard conjectures about the hardness of learning parity with noise.

연구 동기 및 목표

• 이징 모델을 초월하여 마르코프 무작위 필드(MRFs)에서 조건부 상호정보량에 대한 하한을 증명하는 일반적 프레임워크를 개발하는 것.
• 이전 방법이 강한 가정을 필요로 하거나 높은 복잡도를 가지는, 차수의 상한이 있는 그래프에서 $ r $-차 상호작용을 가진 MRFs의 구조 학습 문제를 다루는 것.
• 이러한 모델을 학습하기 위해 정보이론적으로 최적의 표본 복잡도($ \log n $)와 거의 최적의 실행 시간($ n^r $)을 달성하는 것.
• 임의의 고차 클리크 퍼텐셜을 가진 일반 MRFs로 Bresler의 상호정보량 기반 접근법을 확장하는 것.
• 부분 관측(랜덤 에러저) 및 유한 쿼리 액세스 조건 하에서도 최적의 표본 및 실행 시간 복잡도를 유지하는 강건한 알고리즘을 제공하는 것.

제안 방법

• 제로섬 게임을 수립하여 MRFs에서 조건부 상호정보량에 대한 하한을 도출하고, 이는 이징 모델을 초월한 Bresler 결과의 일반화이다.
• 학습에 충분한 통계적 분리가 보장되도록 $ \alpha,\beta $-비퇴화 조건을 정의하여, 상호정보량이 학습 신호로 사용될 수 있도록 한다.
• 휴프딩 부등식과 유니온 바운드를 사용하여 표본에서 조건부 상호정보량을 추정하고, 고확률적으로 $ \epsilon $-정밀도 이내로 집중되도록 보장한다.
• 크기 최대 $ L+r $인 집합의 조건부 상호정보량을 쿼리하는 그레디 이웃 회복 알고리즘(MrfNbhd)을 설계하며, 유한 쿼리 또는 랜덤 에러저 조건을 지원한다.
• 모든 노드와 후보 이웃에 대한 유니온 바운드를 적용하여 전체 그래프 구조의 고확률 복구를 보장한다.
• 랜덤 에러저 조건 하에서 알고리즘을 적응시켜, 모든 관련 부분집합을 고확률로 관측하기 위해 필요한 표본 수를 제한한다.

실험 결과

연구 질문

• RQ1 이징 모델에 사용된 상호정보량 하한 기법을 고차 상호작용을 가진 MRFs로 일반화할 수 있는가?
• RQ2 이웃이 완전히 관측되지 않을 때도 조건부 상호정보량이 무시할 수 없도록 보장하기 위해 필요한 최소한의 가정(예: 비퇴화)은 무엇인가?
• RQ3 고차 상호작용을 가진 MRFs에 대해 $ \log n $ 표본 복잡도와 $ n^r $ 실행 시간 복잡도로 구조 학습을 달성할 수 있는가?
• RQ4 부분 관측(랜덤 에러저) 조건 하에서 알고리즘이 어떻게 작동하는가? 정확성을 유지하기 위해 필요한 표본 복잡도는 무엇인가?
• RQ5 표준 복잡도 이론적 추측 하에서 $ n^r $ 실행 시간은 거의 최적인가?

주요 결과

• 논문은 제로섬 게임 수식을 통해 MRFs에서 조건부 상호정보량에 대한 일반적인 정보이론적 하한을 확립하였으며, 이는 Bresler의 결과를 이징 모델을 초월하여 일반화한 것이다.
• 노드 수 $ n $, 상태 수 $ K $인 차수의 상한이 있는 그래프에서 $ r $-차 MRFs에 대해, 알고리즘은 $ n^r $ 시간과 $ \log n $ 표본 복잡도로 정확한 그래프 구조를 학습하며, 이는 최대 차수 의존성에 대해 정보이론적으로 최적이다.
• 각 노드의 이웃을 고확률적으로 복구하기 위해 $ O(mLn^r) $ 시간이 소요되며, 여기서 $ m $은 표본 수, $ L $은 쿼리 깊이다.
• 확률 $ p $로 랜덤 에러저가 발생하는 조건 하에서, 알고리즘은 $ m \geq N \cdot \frac{\ell \log n + \log L + \log(2N/\omega)}{p^2} $ 표본을 통해 정확성을 유지한다. 여기서 $ N $은 원하는 정밀도와 신뢰도에 따라 결정된다.
• 표본 복잡도는 로그 인자와 최대 차수 의존성에 대해 최적이며, 실행 시간은 노이즈가 있는 파리 학습의 어려움에 기반한 표준 추측 하에 거의 최적이다.
• 이 방법은 부분 관측에 강건하며, 유한 쿼리 액세스를 지원하여 노이즈 또는 완전하지 않은 데이터가 있는 실용적 환경에 적용 가능하다.