[논문 리뷰] Mutual information decay for factors of IID

Balázs Gerencsér, Viktor Harangi|arXiv (Cornell University)|2017. 03. 13.

Markov Chains and Monte Carlo Methods인용 수 1

한 줄 요약

이 논문은 d ≥ 3인 d-정규 트리 위의 i.i.d. 과정의 정점 레이블 간 상호정보량의 감쇠 속도에 대해 날카운 상한과 하한을 확립한다. 일반적인 상한은 (d−1)−k/2로 감쇠하지만, 특정 과정은 훨씬 더 빠른 감쇠—지수적으로 감쇠하는 (d−1)−k의 순서—를 보이며, 이는 최악의 경우와 일반적인 행동 간의 근본적인 괴리함을 보여준다. 이 결과들은 엔트로피 부등식과 선형 조합을 통한 새로운 구성 방법(독립 동일 분포 가우시안의 선형 조합 후 부호 변환을 통한 이진 과정 생성)을 통해 증명되며, 제어된 상관관계와 상호정보량 감쇠를 갖는다.

ABSTRACT

This paper is concerned with factor of i.i.d. processes on the $d$-regular tree for $d \geq 3$. We study the mutual information of the values on two given vertices. If the vertices are neighbors (i.e., their distance is $1$), then a known inequality between the entropy of a vertex and the entropy of an edge provides an upper bound for the (normalized) mutual information. In this paper we obtain upper bounds for vertices at an arbitrary distance $k$, of order $(d-1)^{-k/2}$. Although these bounds are sharp, we also show that an interesting phenomenon occurs here: for any fixed process the rate of decay of the mutual information is much faster, essentially of order $(d-1)^{-k}$.

연구 동기 및 목표

• d-정규 트리 위의 i.i.d. 과정에서 정점 레이블 간 상호정보량이 거리 k에서 감쇠하는 속도를 이해하는 것.
• 거리 k에서 상호정보량에 대한 알려진 (d−1)−k/2 상한이 모든 과정에 대해 날카로운지, 또는 특정 과정에서 더 빠른 감쇠가 발생하는지 확인하는 것.
• 일반적인 상한과 개별 과정에서 관측된 실제 감쇠 속도 사이의 괴리의 원인을 조사하는 것.
• 상호정보량이 (d−1)−k의 속도로 감쇠하는 명시적 예시를 구성하여 이 더 빠른 감쇠 속도가 날카로운지 증명하는 것.

제안 방법

• 이웃한 정점들 사이에서 H(Xu,Xv) ≥ 2(d−1)/d H(Xv)라는 알려진 부등식을 활용하여, 엔트로피 부등식을 통해 정규화된 상호정보량에 대한 일반적인 상한을 유도한다.
• 트리의 구조에서 정보 흐름을 재귀적으로 분석함으로써, 거리 k에서 상호정보량에 대해 (d−1)−k/2의 순서의 감쇠 경계를 확립한다.
• 계수 αk = k^{−1/2 + ε}/√(d−1)^k를 정밀하게 선택하여 상관관계 감쇠를 제어하는 선형 i.i.d. 가우시안 과정을 구성한다.
• 가우시안 과정에 부호 함수를 적용하여 {±1}-값을 갖는 i.i.d. 과정의 변형을 얻으며, 이는 이진 설정에서 상호정보량 분석을 가능하게 한다.
• 볼록성과 합계 추정을 사용하여 거리 k에서의 레이블 간 공분산과 상관계수를 하한으로 제시하며, k^{1−2ε}(d−1)^{−k}의 순서로 감쇠함을 보인다.
• 대칭 이진 랜덤 변수에 대해 상관계수와 상호정보량의 관계를 이용하여, 상호정보량이 Ω(k^{2−4ε}(d−1)^{−k})의 순서로 감쇠함을 증명함으로써 (d−1)^{−k} 감쇠 속도의 날카로움을 확인한다.

실험 결과

연구 질문

• RQ1 d-정규 트리 위의 i.i.d. 과정에서 거리 k에 있는 정점 레이블 간 정규화된 상호정보량에 대한 최적의 상한은 무엇인가?
• RQ2 거리 k에서 상호정보량에 대한 알려진 (d−1)^{−k/2} 상한이 모든 과정에 대해 날카로운가, 아니면 더 빠른 감쇠가 발생할 수 있는가?
• RQ3 단일 i.i.d. 과정이 모든 거리 k에서 상호정보량 감쇠 속도가 (d−1)^{−k}에 도달할 수 있는가?
• RQ4 일반적인 상한과 실제 과정 간의 상호정보량 감쇠 속도는 어떻게 다를 수 있으며, 이러한 괴리의 원인은 무엇인가?
• RQ5 가우시안 요소에서의 상관계수 감쇠와 그 부호 변환된 이진 버전에서의 상호정보량 감쇠 간의 관계는 무엇인가?

주요 결과

• 거리 k에서 정규화된 상호정보량에 대한 일반적인 상한은 O((d−1)^{−k/2})이며, 이는 고정된 k에 대해 이 상한을 달성하는 과정이 존재하므로 날카로운 것으로 확인된다.
• 임의의 고정된 i.i.d. 과정에 대해, 상호정보량은 (d−1)^{−k/2}보다 훨씬 더 빠르게 감쇠하며, 큰 k에 대해 실제 감쇠 속도는 (d−1)^{−k}의 순서이다.
• 논문은 {±1}-값을 갖는 i.i.d. 과정을 구성하여, 거리 k에서 상호정보량이 임의의 ε > 0에 대해 Ω(k^{2−4ε}(d−1)^{−k})의 순서로 감쇠함을 보였으며, 이는 (d−1)^{−k} 감쇠 속도가 본질적으로 날카로움을 증명한다.
• 대칭 이진 랜덤 변수의 경우, 상호정보량은 상관계수의 제곱에 점차적으로 비례하므로, 가우시안 과정의 상관계수 감쇠를 이용해 이진 케이스에서의 상호정보량 감쇠를 유추할 수 있다.
• (d−1)^{−k/2} 일반 상한과 (d−1)^{−k} 일반 감쇠 속도 사이의 괴리는 실제 존재하며 비트리비어하다: 어떤 단일 과정도 모든 k에 대해 최악의 경우 상한을 달성하지 못한다.
• 결과들은 상호정보량 감쇠 속도가 과정 간으로 균일하지 않으며, 일반 과정은 최악의 경우 상한이 제시하는 것보다 훨씬 더 빠르게 감쇠함을 보여준다.