[논문 리뷰] Learning High-Dimensional Markov Forest Distributions: Analysis of Error Rates

Vincent Y. F. Tan, Animashree Anandkumar외 1명|arXiv (Cornell University)|2010. 05. 05.

Bayesian Methods and Mixture Models인용 수 5

한 줄 요약

이 논문은 샤우-류 트리에서 적응형 임계값을 사용해 간선을 잘라내어 고차원의 숲 구조를 가진 이산 그래픽 모델을 학습하는 CLThres 알고리즘을 제안한다. 구조적 일致성과 위험 일치성을 확립하며, 표본 크기의 어떤 다항식보다도 빠르게 오차 확률이 감소함을 증명한다. 이는 차원 수가 표본 수와 함께 지수적으로 증가하는 경우에도 성립한다.

ABSTRACT

The problem of learning forest-structured discrete graphical models from i.i.d. samples is considered. An algorithm based on pruning of the Chow-Liu tree through adaptive thresholding is proposed. It is shown that this algorithm is both structurally consistent and risk consistent and the error probability of structure learning decays faster than any polynomial in the number of samples under fixed model size. For the high-dimensional scenario where the size of the model d and the number of edges k scale with the number of samples n, sufficient conditions on (n,d,k) are given for the algorithm to satisfy structural and risk consistencies. In addition, the extremal structures for learning are identified; we prove that the independent (resp. tree) model is the hardest (resp. easiest) to learn using the proposed algorithm in terms of error rates for structure learning.

연구 동기 및 목표

• 표본 수가 모델 차원 수에 비해 제한적인 경우 흩어진 고차원 그래픽 모델을 학습하는 데 도전하는 것.
• 고차원 환경에서 샤우-류 알고리즘의 과적합 문제를 해결하기 위해 일致적인 잘라내기 메커니즘을 도입하는 것.
• 표본 크기, 차원 수, 간선 수의 일반적인 증가 조건 하에서 제안된 알고리즘의 구조적 및 위험 일치성에 대한 이론적 보장을 수립하는 것.
• 오차율 측면에서 학습이 가장 어려운 구조와 가장 쉬운 구조인 유도된 독립 모델과 트리 모델을 식별하는 것.

제안 방법

• CLThres 알고리즘을 제안하며, 샤우-류 트리에서 약한 간선을 적응형 임계값 기반 잘라내기를 통해 적용하여 진정한 숲 구조를 복원한다.
• 유형의 방법과 유클리드 정보 이론을 사용하여 과대추정 및 과소추정 오차 확률에 대한 날카운 경계를 유도한다.
• 볼록 쌍대성을 적용하여 과대추정 오차율을 준선형계획문제와 연결함으로써 정밀한 점근적 분석을 가능하게 한다.
• i.i.d. 표본 추출 하에서 잘못된 구조 추정의 가능성을 제어하기 위해 KL 발산과 유형 클래스 확률을 사용한다.
• 위험 일치성의 목표로 진짜 분포의 숲 투영을 도입하며, 모든 숲 구조 모델 중에서 KL 발산을 최소화한다.
• Pinsker의 부등식과 연속적인 하한을 가진 동시확률에 대한 하한을 활용하여 추정된 분포와 진짜 분포 간의 KL 발산에 대한 확률적 경계를 수립한다.

실험 결과

연구 질문

• RQ1 고차원 숲 구조 그래픽 모델을 학습할 때 CLThres 알고리즘이 어떤 조건에서 구조적으로 일치성을 가지는가?
• RQ2 특히 고차원 환경에서 표본 크기의 함수로서 구조 학습 오차 확률이 얼마나 빠르게 감소하는가?
• RQ3 CLThres 알고리즘의 학습 난이도 측면에서 극단적 모델은 무엇인가? 즉, 가장 높은 오차율과 가장 낮은 오차율을 보이는 것은 어떤 구조인가?
• RQ4 추정된 모델의 위험은 진짜 분포에 대해 가장 잘 근사하는 숲 구조 모델의 위험으로 수렴하는가?
• RQ5 모델 차원 d가 표본 수 n에 대해 어떤 다항식보다도 더 빠르게 증가할 경우에도 구조적 일치성이 유지될 수 있는가?

주요 결과

• CLThres 알고리즘은 구조적 일치성을 달성한다: 고정된 d에 대해 잘못된 구조를 학습할 확률은 표본 수 n의 어떤 다항식보다도 더 빠르게 감소한다.
• 과대추정 오차 확률이 총 오차율을 지배하며, d가 n에 대해 지수적으로 증가하더라도 n의 어떤 다항식보다 더 빠르게 감소한다.
• 고차원 설정에서는 d = o(exp(nδ)) for any δ > 0 이면 구조적 일치성이 성립하며, 동시분포의 최소 항목에 대한 온건한 조건이 만족되면 성립한다.
• 알고리즘은 위험 일치성 또한 갖는다: 진짜 분포와 추정된 모델 간의 KL 발산은 진짜 분포와 그 최적의 숲 투영 간의 KL 발산으로 수렴한다.
• 독립 모델은 오차율 측면에서 가장 학습이 어려운 반면, 트리 모델은 가장 쉬운 편이다.
• 위험 일치성 속도는 임의의 γ > 0에 대해 O_p(d log d / n^{1−γ})이며, 이는 유도된 차원 수에 비해 느리게 증가하는 표본 수에서도 수렴을 보임을 시사한다.