[논문 리뷰] Reconstruction of Markov Random Fields from Samples: Some Easy Observations and Algorithms

Guy Bresler, Elchanan Mossel외 1명|arXiv (Cornell University)|2007. 12. 10.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 12

한 줄 요약

이 논문은 i.i.d. 표본들로부터 희박한 마르코프 무작위 필드(MRF)의 그래프 구조를 재구성하기 위한 새로운 알고리즘을 제안한다. 이 알고리즘은 국소적 조건부 독립성과 변량 확률의 경계를 활용한다. 이론적으로 $ O(d\epsilon^{-2}\delta^{-4}\log n) $ 개의 표본이 고확률으로 기저 그래프를 재구성하는 데 충분함을 입증하며, 여기서 $ \epsilon $ 및 $ \delta $ 는 국소적 상호작용 강도를 측정한다. 또한 $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ 의 실행 시간 상한을 제시하며, 상관관계 감쇠 조건 하에서는 $ O(n^2\log n) $ 으로 향상된다.

ABSTRACT

Markov random fields are used to model high dimensional distributions in a number of applied areas. Much recent interest has been devoted to the reconstruction of the dependency structure from independent samples from the Markov random fields. We analyze a simple algorithm for reconstructing the underlying graph defining a Markov random field on $n$ nodes and maximum degree $d$ given observations. We show that under mild non-degeneracy conditions it reconstructs the generating graph with high probability using $Θ(d ε^{-2}δ^{-4} \log n)$ samples where $ε,δ$ depend on the local interactions. For most local interaction $\eps,δ$ are of order $\exp(-O(d))$. Our results are optimal as a function of $n$ up to a multiplicative constant depending on $d$ and the strength of the local interactions. Our results seem to be the first results for general models that guarantee that {\em the} generating model is reconstructed. Furthermore, we provide explicit $O(n^{d+2} ε^{-2}δ^{-4} \log n)$ running time bound. In cases where the measure on the graph has correlation decay, the running time is $O(n^2 \log n)$ for all fixed $d$. We also discuss the effect of observing noisy samples and show that as long as the noise level is low, our algorithm is effective. On the other hand, we construct an example where large noise implies non-identifiability even for generic noise and interactions. Finally, we briefly show that in some simple cases, models with hidden nodes can also be recovered.

연구 동기 및 목표

• 진짜 그래프가 알려져 있지 않은 상황에서 독립 표본들로부터 마르코프 무작위 필드의 의존성 그래프를 재구성하는 데 도전하는 것.
• 차수 제한이 있는 희박한 MRF의 재구성에 대해 표본 복잡도와 계산 효율성에 대한 이론적 보장을 제공하는 것.
• 노이즈가 있거나 부분적으로 관측된 데이터로의 확장에서, 약한 비퇴도 조건 하에서도 식별 가능성을 보장하는 것.
• 특정 상호작용 강도 제약 조건 하에서 삼각형이 없는 그래프에서 숨겨진 노드를 복원할 수 있음을 보여주는 것.

제안 방법

• 조건부 독립성을 경험적 상호정보량을 통해 추정하는 단순한 알고리즘을 제안하며, 국소적 이웃 통계량을 활용해 간선을 유추한다.
• 정보이론적 경계를 활용해 재구성에 대해 $ \Omega(d\log n) $ 개의 표본이 최소한 필요하다는 하한선을 도출하며, 상수 요소까지 최적임을 입증한다.
• 유일한 그래프 식별을 보장하기 위해 조건부 확률과 변량 분포에 하한 $ \epsilon $ 및 $ \delta $ 를 포함하는 비퇴도 조건을 도입한다.
• 약한 노이즈는 재구성 가능성을 유지함을 보여주며, 강한 노이즈는 식별 불가능성을 유도할 수 있음을 분석함으로써, 노이즈 관측에 대한 알고리즘의 적응 가능성을 제시한다.
• 상관관계 감쇠를 활용해 일반적인 $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ 의 실행 시간을 $ O(n^2\log n) $ 으로 감소시킴으로써, 고정된 $ d $ 에 대해 다항식 시간으로 효율적으로 작동함을 보장한다.
• 클리크 재구성 기법을 적용하여 관측된 부분 그래프에서 최대 클리크를 식별하고, 이를 잠재 정점으로 대체함으로써 숨겨진 노드를 복원한다.

실험 결과

연구 질문

• RQ1 최대 차수 $ d $ 를 가진 차수 제한 MRF의 그래프를 고확률로 재구성하기 위해 필요한 최소 i.i.d. 표본 수는 얼마인가?
• RQ2 특히 상관관계 감쇠 조건 하에서 실행 시간 측면에서 효율적인 재구성 알고리즘이 가능할 수 있는가?
• RQ3 노이즈가 있거나 부분적으로 관측된 변수가 존재할 경우, 기저 MRF 그래프의 식별 가능성에 어떤 영향을 미치는가?
• RQ4 어떤 조건에서 잠재 MRF 구조 내의 숨겨진 노드를 관측 표본들로부터 복원할 수 있는가?
• RQ5 차수와 상호작용 강도에 따라 상수 요소까지 최적의 표본 복잡도를 달성할 수 있는가?

주요 결과

• 논문은 최대 차수 $ d $ 를 가진 MRF의 기저 그래프를 재구성하기 위해 $ O(d\epsilon^{-2}\delta^{-4}\log n) $ 개의 표본이 충분함을 입증하며, 이는 정보이론적 하한선과 상수 요소까지 일치함을 보여준다.
• 상관관계 감쇠 조건이 성립할 경우 실행 시간이 $ O(n^2\log n) $ 으로 감소하며, 이는 고정된 $ d $ 에 대해 다항식 시간으로 효율적이며 일반적인 $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ 상한보다 크게 향상된다.
• 노이즈 수준이 상호작용 강도에 비해 작을 경우, 약한 노이즈 조건 하에서도 알고리즘이 효과적으로 작동하며, 고확률 재구성 보장을 유지한다.
• 삼각형이 없는 그래프에 대해 페로마그네틱 이징 모델에서, 명시적인 하한을 도출한다: $ \epsilon \geq \frac{\tanh(2c)}{32e^{2(d+1)C}(C^2 + C^{-2})} $ 와 $ \delta \geq \frac{e^{-4dC}}{2^{2d}} $ 로서, 비퇴도 조건을 충족한다.
• 결측 노드들이 충분히 분리되어 있을 경우, 관측된 부분 그래프에서 최대 클리크를 식별하고 이를 잠재 정점으로 대체함으로써 숨겨진 노드가 포함된 그래프를 성공적으로 재구성한다.
• 큰 노이즈가 존재할 경우, 일반적인 상호작용 조건 하에서도 식별 불가능성이 발생할 수 있음을 보여주는 예시를 제시하며, 강건성의 근본적 한계를 입증한다.