[논문 리뷰] Wasserstein continuity of entropy and outer bounds for interference channels

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|2015. 04. 17.

Wireless Communication Security Techniques참고 문헌 20인용 수 9

한 줄 요약

이 논문은 정규성 조건 하에서 미분 엔트로피와 샤논 엔트로피의 워샤르스타인 연속성을 확립하여, 엔트로피 차이가 분포 간 워샤르스타인 거리에 의해 유계임을 보여준다. 이 결과와 운반-정보 부등식을 활용하여 이중 사용자 가우시안 간섭 채널에 대한 새로운 외부 경계를 증명하며, 오랫동안 미해결이었던 '결손된 모서리 점' 문제를 해결한다.

ABSTRACT

It is shown that under suitable regularity conditions, differential entropy is a Lipschitz functional on the space of distributions on $n$-dimensional Euclidean space with respect to the quadratic Wasserstein distance. Under similar conditions, (discrete) Shannon entropy is shown to be Lipschitz continuous in distributions over the product space with respect to Ornstein's $\bar d$-distance (Wasserstein distance corresponding to the Hamming distance). These results together with Talagrand's and Marton's transportation-information inequalities allow one to replace the unknown multi-user interference with its i.i.d. approximations. As an application, a new outer bound for the two-user Gaussian interference channel is proved, which, in particular, settles the "missing corner point" problem of Costa (1985).

연구 동기 및 목표

• 랜덤 벡터의 분포가 의미 있는 거리 척도에서 가까울 때 엔트로피 차이를 유계로 제한하는 기본 문제를 다루기.
• 정보이론적 반증 증명에서 복잡한 비i.i.d. 다중 사용자 간섭을 i.i.d. 근사로 대체하기.
• 이중 사용자 가우시안 간섭 채널(GIC)의 용량 영역에서 '결손된 모서리 점' 문제를 해결하기.
• KL 발산 대신 워샤르스타인 거리에 기반한 미분 엔트로피 및 이산 엔트로피에 대한 새로운 연속성 경계를 수립하기.
• 정규성 조건 하에서 KL 발산과 워샤르스타인 거리 사이를 연결하는 반대 운반-정보 부등식 유도하기.

제안 방법

• 모멘트 및 밀도 정규성 조건 하에서 $\mathbb{R}^n$ 상에서의 미분 엔트로피가 $W_2$-거리에 대해 $O(\sqrt{n})$-립시츠 연속임을 증명하기.
• 제품 공간에서 오르누스타인의 $\bar{d}$-거리(하밍 거리에 대한 워샤르스타인 거리)에 대해 이산 샤논 엔트로피에 대해 유사한 $O(n)$-립시츠 연속성 확립하기.
• 탈라그랑의 및 마르톤의 운반-정보 부등식을 적용하여 $W_2$-거리와 KL 발산을 연결함으로써 엔트로피 차이를 발산에 의해 제어 가능하게 하기.
• 엔트로피의 워샤르스타인 연속성을 활용하여 GIC 반증 증명에서 비i.i.i.d. 간섭을 i.i.i.d. 가우시안 근사로 대체하기.
• 정규성 조건 하에서 역방향 부등식 유도: $D(P\|Q) \lesssim \sqrt{\int \|x\|^2 (dP + dQ)} \cdot W_2(P,Q)$.
• 결과를 적용하여 이중 사용자 가우시안 간섭 채널에 대한 새로운 외부 경계를 증명하며, 결손된 모서리 점 문제를 해결하기.

실험 결과

연구 질문

• RQ1 적절한 정규성 조건 하에서 KL 발산 대신 워샤르스타인 거리에 기반한 미분 엔트로피의 유계화가 가능한가?
• RQ2 이중 사용자 가우시안 간섭 채널에서 반증 증명을 위해 비i.i.d. 간섭을 효과적으로 i.i.i.d. 근사로 대체할 수 있는가?
• RQ3 고차원 설정에서 $W_2$-거리가 미분 엔트로피의 차이를 제어하는가?
• RQ4 정규성 조건 하에서 KL 발산을 워샤르스타인 거리로 유계로 제한하는 역방향 운반 부등식을 유도할 수 있는가?
• RQ5 새로운 워샤르스타인 기반 연속성 결과가 이중 사용자 GIC의 용량 영역에서 '결손된 모서리 점' 문제를 해결하는가?

주요 결과

• 모멘트 및 밀도 정규성 조건 하에서 $\mathbb{R}^n$ 상에서의 미분 엔트로피는 $W_2$-거리에 대해 $O(\sqrt{n})$-립시츠 연속이다.
• 제품 공간에서 오르누스타인의 $\bar{d}$-거리에 대해 샤논 엔트로피는 $O(n)$-립시츠 연속이다.
• 이중 사용자 가우시안 간섭 채널의 용량 영역에서 '결손된 모서리 점' 문제가 워샤르스타인 연속성에 기반한 새로운 외부 경계를 통해 해결된다.
• 정규성 조건 하에서 역방향 운반 부등식이 유도됨: $D(P\|Q) \lesssim \sqrt{\int \|x\|^2 (dP + dQ)} \cdot W_2(P,Q)$.
• 탈라그랑의 부등식을 워샤르스타인 연속성과 함께 사용하여 KL 발산에 기반한 엔트로피 차이의 유계화를 확보함으로써 GIC 반증 증명이 가능해진다.
• 결과들은 워샤르스타인 거리가 고차원 및 다중 사용자 환경에서 엔트로피 차이 제어에 KL 발산보다 더 적합한 척도임을 보여준다.