[논문 리뷰] Linear Bounds between Contraction Coefficients for $f$-Divergences

Anuran Makur, Lizhong Zheng|arXiv (Cornell University)|2015. 10. 07.

Wireless Communication Security Techniques참고 문헌 47인용 수 12

한 줄 요약

이 논문은 χ²-분산 계수를 기준으로 f-divergence의 수축 계수에 대해 선형 상한을 설정하며, 특정 조건 하에서 이러한 상한이 날카로운 것을 증명한다. 또한 가우시안 소스에 대해 가우시안 노이즈가 첨가된 채널에서 KL 및 χ²-분산의 수축 계수가 동일하다는 것을 보이며, 비선형 연산 볼록 f-divergence에 대해 '더 소음이 많은' 채널 순서가 일반화됨을 나타낸다.

ABSTRACT

Data processing inequalities for $f$-divergences can be sharpened using constants called "contraction coefficients" to produce strong data processing inequalities. For any discrete source-channel pair, the contraction coefficients for $f$-divergences are lower bounded by the contraction coefficient for $χ^2$-divergence. In this paper, we elucidate that this lower bound can be achieved by driving the input $f$-divergences of the contraction coefficients to zero. Then, we establish a linear upper bound on the contraction coefficients for a certain class of $f$-divergences using the contraction coefficient for $χ^2$-divergence, and refine this upper bound for the salient special case of Kullback-Leibler (KL) divergence. Furthermore, we present an alternative proof of the fact that the contraction coefficients for KL and $χ^2$-divergences are equal for a Gaussian source with an additive Gaussian noise channel (where the former coefficient can be power constrained). Finally, we generalize the well-known result that contraction coefficients of channels (after extremizing over all possible sources) for all $f$-divergences with non-linear operator convex $f$ are equal. In particular, we prove that the so called "less noisy" preorder over channels can be equivalently characterized by any non-linear operator convex $f$-divergence.

연구 동기 및 목표

• f-분산의 수축 계수와 χ²-분산 계수 간의 선형 상한을 설정하는 것.
• 특히 쿨백-라이블러(KL) 분산에 대해 이러한 상한을 개선하는 것.
• 가우시안 소스에 대해 가우시안 노이즈가 첨가된 채널에서 KL 및 χ²-분산의 수축 계수가 동일하다는 것을 증명하는 것.
• 비선형 연산 볼록 f-분산에 대해 '더 소음이 많은' 채널 순서의 등가성을 모든 f-분산에 대해 일반화하는 것.

제안 방법

• 이차 테일러 전개와 볼록성 성질을 사용하여 f-분산과 χ²-분산 간의 경계를 유도한다.
• 음의 샤논 엔트로피 함수의 강한 볼록성 특성을 적용하여 총 변동에 대한 2차항으로 KL 분산을 아래에서 유계로 제한한다.
• 텐서화 기법을 사용하여 경계를 제품 공간과 마르코프 체인으로 확장한다.
• 볼립스 분석과 브레그만 분산 성질을 활용하여 가우시안 설정에서 KL-χ² 등가성을 증명한다.
• '비선형 연산 볼록 f-분산에 대한 수축 계수가 동일하다'는 기존 결과를 일반화하기 위해 '더 소음이 많은' 순서를 통해 등가성을 증명한다.
• 음의 엔트로피 함수의 헤시안를 사용하여 KL 분산에 대한 χ²-분산에 대한 하한을 유도한다.

실험 결과

연구 질문

• RQ1 f-분산의 수축 계수는 χ²-분산 계수에 대해 선형적으로 유계로 제한될 수 있는가?
• RQ2 χ²-계수에 대해 KL 분산에 대한 가장 날카로운 선형 상한은 무엇인가?
• RQ3 가우시안 소스에 대해 가우시안 노이즈가 첨가된 채널에서 KL 및 χ²-분산의 수축 계수가 동일한가?
• RQ4 '더 소음이 많은' 채널 순서는 비선형 연산 볼록 f-분산을 통해 등가적으로 특성화될 수 있는가?
• RQ5 입력 f-분산이 0에 수렴할 때 χ²-계수에 의한 수축 계수 하한이 날카로운가?

주요 결과

• 고려된 클래스에 속하는 임의의 f-분산에 대해 수축 계수는 χ²-분산 계수의 선형 함수로 상한이 존재한다.
• KL 분산의 경우 상한이 특정 조건 하에서 날카로운 것으로 밝혀졌으며, 이를 개선하였다.
• 가우시안 소스에 대해 가우시안 노이즈가 첨가된 채널에서 KL 및 χ²-분산의 수축 계수는 동일하다.
• 입력 f-분산이 0으로 수렴함에 따라 χ²-계수에 의한 수축 계수 하한이 달성된다.
• '더 소음이 많은' 채널 순서는 비선형 연산 볼록 f-분산을 통해 정의할 경우 등가적이다.
• 음의 샤논 엔트로피의 강한 볼록성에 기반하여 χ²-분산에 대한 KL 분산의 2차 하한이 도출되었다.