[논문 리뷰] Strong Data Processing Inequalities for Input Constrained Additive Noise Channels

Flávio P. Calmon, Yury Polyanskiy외 1명|arXiv (Cornell University)|2015. 12. 20.

Wireless Communication Security Techniques참고 문헌 19인용 수 3

한 줄 요약

이 논문은 입력 제약 조건이 있는 가우시안 노이즈 채널에 대해 강력한 데이터 처리 부등식(SDPIs)을 수립하며, 밀도가 존재하고 그 지지부가 자신과의 이동에 대해 서로소가 아닌 비퇴화된 노이즈에 대해, 상호정보량 $I(W;Y)$ 가 항상 $I(W;X)$ 보다 작다는 것을 증명한다. 주요 결과는 이러한 채널에 대해 $I(W;Y) \leq F_I(I(W;X))$ 이며, 모든 $t > 0$ 에 대해 $F_I(t) < t$ 이며, 제곱형 전력 제약 조건 하에서 용량은 $I(W;X) \to \infty$ 일 때에만 접근 가능하다. I-MMSE와 탈랑랑드 부등식을 활용하여 가우시안 채널에 대해 명시적이고 순서 최적의 경계를 유도한다.

ABSTRACT

This paper quantifies the intuitive observation that adding noise reduces available information by means of non-linear strong data processing inequalities. Consider the random variables $W o X o Y$ forming a Markov chain, where $Y=X+Z$ with $X$ and $Z$ real-valued, independent and $X$ bounded in $L_p$-norm. It is shown that $I(W;Y) \le F_I(I(W;X))$ with $F_I(t)0$, if and only if $Z$ has a density whose support is not disjoint from any translate of itself. A related question is to characterize for what couplings $(W,X)$ the mutual information $I(W;Y)$ is close to maximum possible. To that end we show that in order to saturate the channel, i.e. for $I(W;Y)$ to approach capacity, it is mandatory that $I(W;X) o\infty$ (under suitable conditions on the channel). A key ingredient for this result is a deconvolution lemma which shows that post-convolution total variation distance bounds the pre-convolution Kolmogorov-Smirnov distance. Explicit bounds are provided for the special case of the additive Gaussian noise channel with quadratic cost constraint. These bounds are shown to be order-optimal. For this case simplified proofs are provided leveraging Gaussian-specific tools such as the connection between information and estimation (I-MMSE) and Talagrand's information-transportation inequality.

연구 동기 및 목표

• 입력 제약 조건이 있는 가우시안 노이즈 채널을 통과할 때 상호정보량이 얼마나 손실되는지 정량화하는 것.
• 비퇴화된 노이즈에 대해 상호정보량을 엄격히 수축시키는 비선형 강력한 데이터 처리 부등식(SDPIs)을 수립하는 것.
• 입력 제약 조건 하에서 상호정보량 $I(W;Y)$ 가 채널 용량에 접근할 수 있는 조건을 규명하며, 이는 $I(W;X) \to \infty$ 가 되어야 함을 보여주는 것.
• 제곱형 전력 제약 조건 하에서 가우시안 가우시안 노이즈 채널에 대해 명시적이고 순서 최적의 경계를 도출하는 것.

제안 방법

• 저자들은 입력 상호정보량 $I(W;X)$ 를 출력 상호정보량 $I(W;Y)$ 의 최대 가능치로 매핑하는 데이터 처리 함수 $F_I(t)$ 를 정의한다.
• 노이즈 $Z$ 가 밀도를 가지며 그 지지부가 자신과의 어떤 이동에도 서로소가 아니면, 모든 $t > 0$ 에 대해 $F_I(t) < t$ 를 만족함을 증명한다.
• 핵심 기술 도구로는 복합화 후의 총변동 거리로 복합화 이전의 콜모고로프-스미르노프 거리를 제한하는 탈컨볼루션 보조정리이다.
• 가우시안 채널의 경우, I-MMSE 관계와 탈랑랑드의 정보-운반 부등식을 활용하여 단순화된 순서 최적의 경계를 도출한다.
• 무한차원 경우를 분석하고 $F_I^\infty(t,\gamma)/t$ 가 감소함과 동시에 $F_I^\infty(t,\gamma)$ 가 증가함을 증명함으로써 날카운 점근적 경계를 확보한다.
• 주요 결과의 증명은 특성 함수의 경계와 에세인의 부등식을 사용하여 입력 분포와 가우시안 간의 거리를 제어한다.

실험 결과

연구 질문

• RQ1 입력 제약 조건이 있는 가우시안 노이즈 채널에서 상호정보량이 엄격히 수축하는 노이즈 $Z$ 의 조건은 무엇인가?
• RQ2 모든 $W \to X \to Y$ 에 대해 $Y = X + Z$ 를 만족할 때, $I(W;Y) \leq F_I(I(W;X))$ 를 만족하는 정확한 함수적 관계 $F_I(t)$ 는 무엇인가?
• RQ3 제곱형 전력 제약 조건 하에서 상호정보량 $I(W;Y)$ 가 용량에 접근할 수 있는 조건은 $I(W;X) \to \infty$ 가 되어야만 하는가?
• RQ4 제곱형 전력 제약 조건이 있는 가우시안 가우시안 노이즈 채널에 대해 $F_I(t)$ 에 대한 명시적이고 순서 최적의 경계를 어떻게 도출할 수 있는가?
• RQ5 레비 농도 함수는 입력 분포의 원자가 존재하지 않는 것을 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 모든 $t > 0$ 에 대해 상호정보량 $I(W;Y)$ 가 $I(W;X)$ 보다 작다는 것은 노이즈 $Z$ 가 밀도를 가지며 그 지지부가 자신과의 어떤 이동에도 서로소가 아니면 참이다.
• 제곱형 전력 제약 조건 $\gamma$ 를 가진 가우시안 노이즈 채널에 대해 함수 $F_I^\infty(t,\gamma)$ 는 $F_I^\infty(\gamma/2,\gamma) = \gamma/2$ 를 만족함을 보여, 최적의 전송률은 무한대의 입력 상호정보량 근처에서만 도달됨을 나타낸다.
• 제시된 노이즈 조건 하에서 모든 $t > 0$ 에 대해 $F_I(t) < t$ 가 균일하게 성립함을 증명하여 엄격한 데이터 처리 수축을 입증한다.
• 탈랑랑드 부등식과 I-MMSE 도구를 활용하여 입력과 가우시안 간의 콜모고로프-스미르노프 거리에 대한 명시적 경계를 도출하며, 고상호정보량 조건 하에서 근사 가우시안성을 보여준다.
• 탈컨볼루션 보조정리는 복합화 후의 총변동 거리가 복합화 이전의 콜모고로프-스미르노프 거리를 제한함을 보여주며, 핵심 수축 결과를 가능하게 한다.
• 레비 농도 함수 $\mathcal{L}(X;\delta)$ 는 분포에 원자가 없을 때에만 0에서 연속이며, 이는 입력 분포가 가우시안 근처에서의 행동을 분석하는 데 사용된다.