[논문 리뷰] Strong data-processing inequalities for channels and Bayesian networks

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|2015. 08. 25.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 Evans-Schulman 방법을 통해 다중 홉 네트워크로의 수축 계수 확장을 이용하여 채널과 베이지안 네트워크에 대한 강력한 데이터 처리 불등식(SDPIs)을 수립한다. 상호정보량, 총변동(Dobrushin), 비선형 $F_I$-곡선 수축에 대한 종단 간 SDPIs를 유도하며, 경계를 네트워크 시스템 내의 침투 확률로 해석하고, 단일 문자 사례로부터 피드백이 있는 $n$-문자 무기록 채널에 대한 SDPIs를 가능하게 한다.

ABSTRACT

The data-processing inequality, that is, $I(U;Y) \le I(U;X)$ for a Markov chain $U o X o Y$, has been the method of choice for proving impossibility (converse) results in information theory and many other disciplines. Various channel-dependent improvements (called strong data-processing inequalities, or SDPIs) of this inequality have been proposed both classically and more recently. In this note we first survey known results relating various notions of contraction for a single channel. Then we consider the basic extension: given SDPI for each constituent channel in a Bayesian network, how to produce an end-to-end SDPI? Our approach is based on the (extract of the) Evans-Schulman method, which is demonstrated for three different kinds of SDPIs, namely, the usual Ahslwede-Gács type contraction coefficients (mutual information), Dobrushin's contraction coefficients (total variation), and finally the $F_I$-curve (the best possible non-linear SDPI for a given channel). Resulting bounds on the contraction coefficients are interpreted as probability of site percolation. As an example, we demonstrate how to obtain SDPI for an $n$-letter memoryless channel with feedback given an SDPI for $n=1$. Finally, we discuss a simple observation on the equivalence of a linear SDPI and comparison to an erasure channel (in the sense of "less noisy" order). This leads to a simple proof of a curious inequality of Samorodnitsky (2015), and sheds light on how information spreads in the subsets of inputs of a memoryless channel.

연구 동기 및 목표

• 단일 채널의 강력한 데이터 처리 불등식(SDPIs)을 다중 채널을 가진 다단계 베이지안 네트워크로 확장하기.
• 상호정보량, 총변동, 비선형 $F_I$-곡선에 대한 수축 계수를 이용하여 네트워크 전반의 정보 손실을 근사화하는 통합 프레임워크 개발하기.
• 유도된 수축 계수 경계를 네트워크 시스템 내의 지점 침투 확률로 해석하기.
• 단일 문자 사례에서의 $n=1$ 경우를 바탕으로 피드백이 있는 $n$-문자 무기록 채널에 대한 SDPIs 유도 가능하게 하기.
• 선형 SDPIs와 삭제 채널 비교 간의 등가성 수립하여 기존 불등식의 증명을 단순화하기.

제안 방법

• Evans-Schulman 방법을 순차적 및 병렬 채널 네트워크에 걸쳐 SDPIs를 조합하는 데 적용한다.
• Kantorovich 쌍대성과 최적 운반 이론을 사용하여 연관 분포의 쌍화 비용 최소값을 근사함으로써 총변동 및 상호정보량 수축을 도출한다.
• 비선형 SDPI의 최적 형태인 $F_I$-곡선의 새로운 수식을 제안하고, 쌍화 및 쌍대 기법을 통해 그 수축 경계를 유도한다.
• 세 가지 유형의 SDPIs에 적용: Ahlsweede-Gács 상호정보량 수축, Dobrushin 총변동 수축, $F_I$-곡선 비선형 수축.
• 선형 SDPI의 등가성을 입증하고 Samorodnitsky의 불등식을 단순화된 증명으로 이끌기 위해 삭제 채널과의 비교를 활용한다.
• 일반적인(비이산) 입력/출력 공간을 다루기 위해 동시에 최대 쌍화와 가측 선택 기법을 사용한다.

실험 결과

연구 질문

• RQ1 개별 채널에 대한 강력한 데이터 처리 불등식(SDPIs)을 어떻게 다단계 베이지안 네트워크에 대한 종단 간 SDPIs로 조합할 수 있는가?
• RQ2 네트워크 채널에서 상호정보량, 총변동, 비선형 $F_I$-곡선에 대해 가능한 가장 날카로운 수축 계수는 무엇인가?
• RQ3 수축 계수는 네트워크 시스템 내 침투 임계값과 어떻게 관련이 있는가?
• RQ4 피드백이 있는 $n$-문자 무기록 채널에 대한 SDPIs를 네트워크 조합을 통해 $n=1$ 경우에서 유도할 수 있는가?
• RQ5 선형 SDPIs와 삭제 채널 비교 간의 관계는 무엇이며, 이를 통해 기존 불등식의 증명이 어떻게 단순화되는가?

주요 결과

• Evans-Schulman 방법을 사용하여 네트워크 내 상호정보량에 대한 종단 간 SDPIs를 도출하였으며, 수축 계수를 침투 확률로 해석하였다.
• 총변동의 경우, 최적 운반과 쌍화를 통해 최적화된 운반 이론을 활용하여 Dobrushin 유형의 수축 경계를 도출하였고, 비퇴화된 채널에서 엄격한 수축이 성립함을 보였다.
• $F_I$-곡선(최적 비선형 SDPI)은 쌍화 및 쌍대 기법을 통해 네트워크에서 수축 경계를 유도하였으며, 선형 근사보다 더 날카로운 경계를 제공하였다.
• 논문은 선형 SDPI가 '더 소음이 적은' 순서에서 삭제 채널과의 비교와 등가임을 증명하였으며, 이를 통해 Samorodnitsky의 불등식에 대한 새로운 증명을 가능하게 하였다.
• 피드백이 있는 $n=1$에서 $n$-문자 무기록 채널로의 SDPIs 확장을 유지하면서 날카로운 경계를 유지하는 새로운 방법을 개발하였다.
• 공통 분포 $P_{XY}$의 수축 계수는 $\min_{\pi} \mathbb{E}[\mathbf{1}_{(X,Y)\neq(X',Y')}] + \mathbb{E}[\mathbf{1}_{X\neq X'}] = d_{\rm TV}(P_{XY},Q_{XY}) + d_{\rm TV}(P_X,Q_X)$를 만족하며, 쌍화 경계에서 등식이 성립함을 증명하였다.