[논문 리뷰] Near-Optimal Learning of Tree-Structured Distributions by Chow-Liu

Arnab Bhattacharyya, Sutanu Gayen외 2명|arXiv (Cornell University)|2020. 11. 09.

Machine Learning and Algorithms참고 문헌 53인용 수 6

한 줄 요약

이 논문은 나무 구조를 가진 분포를 학습하는 데 있어 Chow-Liu 알고리즘에 대한 유한 표본 보장을 제공하며, 진짜 분포가 나무 구조를 가진 경우 $\widetilde{O}(|\Sigma|^{3}n\varepsilon^{-1})$개의 i.i.d. 표본을 사용하면 상수 확률로 $\varepsilon$-근사 나무를 출력함을 보여준다. 또한 일반 분포에 대해 $\Omega(n^{2}\varepsilon^{-2})$의 표본 복잡도 하한선을 확립하여, $\widetilde{O}(|\Sigma|^{3}/\varepsilon)$개의 표본을 사용해 조건부 인성 테스트를 수행하는 데 있어서 열려 있던 문제를 해결한다.

ABSTRACT

We provide finite sample guarantees for the classical Chow-Liu algorithm (IEEE Trans.~Inform.~Theory, 1968) to learn a tree-structured graphical model of a distribution. For a distribution $P$ on $Σ^n$ and a tree $T$ on $n$ nodes, we say $T$ is an $\varepsilon$-approximate tree for $P$ if there is a $T$-structured distribution $Q$ such that $D(P\;||\;Q)$ is at most $\varepsilon$ more than the best possible tree-structured distribution for $P$. We show that if $P$ itself is tree-structured, then the Chow-Liu algorithm with the plug-in estimator for mutual information with $\widetilde{O}(|Σ|^3 n\varepsilon^{-1})$ i.i.d.~samples outputs an $\varepsilon$-approximate tree for $P$ with constant probability. In contrast, for a general $P$ (which may not be tree-structured), $Ω(n^2\varepsilon^{-2})$ samples are necessary to find an $\varepsilon$-approximate tree. Our upper bound is based on a new conditional independence tester that addresses an open problem posed by Canonne, Diakonikolas, Kane, and Stewart~(STOC, 2018): we prove that for three random variables $X,Y,Z$ each over $Σ$, testing if $I(X; Y \mid Z)$ is $0$ or $\geq \varepsilon$ is possible with $\widetilde{O}(|Σ|^3/\varepsilon)$ samples. Finally, we show that for a specific tree $T$, with $\widetilde{O} (|Σ|^2n\varepsilon^{-1})$ samples from a distribution $P$ over $Σ^n$, one can efficiently learn the closest $T$-structured distribution in KL divergence by applying the add-1 estimator at each node.

연구 동기 및 목표

• 나무 구조를 가진 그래픽 모델을 학습하는 데 있어 Chow-Liu 알고리즘에 대한 유한 표본 보장을 제공하기 위해.
• 분포 $P$에 대해 $\varepsilon$-근사 나무를 출력하기 위해 필요한 표본 복잡도를 분석하기 위해, 이는 최적의 나무 구조적 근사와 $\varepsilon$ 이내에 있을 때 정의된다.
• Canonne 등(2018)에서 제기한 열린 문제를 해결하기 위해, $I(X;Y|Z) \geq \varepsilon$인지 여부 또는 $=0$인지 테스트하는 데 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$개의 표본을 사용할 수 있음을 보여주기 위해.
• add-1 추정기로 특정 나무 구조를 가진 분포를 학습할 때의 날카로운 표본 복잡도 바운드를 확립하기 위해.

제안 방법

• 논문은 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$개의 표본을 사용해 조건부 상호정보가 0인지 또는 $\varepsilon$ 이하인지 구분할 수 있는 새로운 조건부 인성 테스터를 도입한다.
• 상호정보의 플러그인 추정기와 유한 표본 행동 분석을 위해 농도 경계와 엔트로피 추정 오차 제어를 사용한다.
• Pinsker의 부등식을 활용해 KL 발산과 총 변동 거리 간의 관계를 설정함으로써 근사 품질에 대한 확률적 보장을 가능하게 한다.
• 고정된 나무 $T$를 학습하기 위해, 각 노드에서 add-1 추정기를 적용하여 KL 발산에서 가장 가까운 $T$-구조 분포를 효율적으로 학습한다.
• Le Cam의 두 점 방법과 제품 분포에 대한 헬링거 거리 분해를 사용해 이론적 하한선을 유도한다.
• 일반 케이스에서 나무 구조 케이스로의 감소를 통해, $P$가 반드시 나무 구조를 가지지 않더라도 $\varepsilon$-근사 학습을 위해 $\Omega(n^2\varepsilon^{-2})$개의 표본이 필요함을 보여준다.

실험 결과

연구 질문

• RQ1 나무 구조를 가진 분포에 대해 Chow-Liu 알고리즘이 $\varepsilon$-근사 나무를 출력하기 위해 필요한 유한 표본 표본 복잡도는 무엇인가요?
• RQ2 Canonne 등(2018)에서 제기한 열린 문제를 해결하기 위해, $I(X;Y|Z) = 0$인지 또는 $\geq \varepsilon$인지 테스트하는 데 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$개의 표본을 사용할 수 있나요?
• RQ3 add-1 추정기를 사용해 고정된 나무 구조를 가진 분포를 학습할 때의 최적 표본 복잡도는 무엇인가요?
• RQ4 $\widetilde{O}(|\Sigma|^3 n \varepsilon^{-1})$의 표본 복잡도가 나무 구조를 가진 분포에 대한 $\varepsilon$-근사 학습에 대해 날카로운가요?
• RQ5 일반 분포에 대해 $\varepsilon$-근사 학습을 달성하기 위해 필요한 표본 수의 정보 이론적 하한선은 무엇인가요?

주요 결과

• 나무 구조를 가진 분포 $P$에 대해, 플러그인 상호정보 추정기를 사용하는 Chow-Liu 알고리즘은 상수 확률로 $\widetilde{O}(|\Sigma|^3 n \varepsilon^{-1})$개의 i.i.d. 표본을 사용해 $\varepsilon$-근사 학습을 달성한다.
• 논문에서 제안한 조건부 인성 테스터는 $I(X;Y|Z) = 0$인지 또는 $I(X;Y|Z) \geq \varepsilon$인지 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$개의 표본을 사용해 구분할 수 있으며, 이는 열린 문제를 해결한다.
• 고정된 나무 $T$에 대해, add-1 추정기는 $\widetilde{O}(|\Sigma|^2 n \varepsilon^{-1})$개의 표본을 사용해 KL 발산에서 가장 가까운 $T$-구조 분포를 효율적으로 학습할 수 있다.
• 일반 분포에 대해 $\varepsilon$-근사 학습을 위해 $\Omega(n^2 \varepsilon^{-2})$개의 표본이 필요하다는 하한선이 확립되었으며, 이는 상한선이 거의 날카로운 것을 보여준다.
• 나무 구조를 가진 분포를 학습할 때의 표본 복잡도는 일반 분포보다 엄청나게 낮으며, 이는 구조적 가정의 이점을 강조한다.
• 분석 결과, Chow-Liu 알고리즘이 분포 모수 오류에 대해 강건함을 보이며, $P$가 나무 구조를 가지지 않더라도 여전히 양호한 근사를 제공함을 보여준다.