[논문 리뷰] On Maximal Correlation, Hypercontractivity, and the Data Processing Inequality studied by Erkip and Cover

Venkat Anantharam, Gohari, Amin외 2명|arXiv (Cornell University)|2013. 04. 22.

Point processes and geometric inequalities참고 문헌 15인용 수 103

한 줄 요약

이 논문은 함수 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 의 헤시안과 볼록포장에 기반하여 히르슈펠트-게벨라인-레니 최대상관관계 및 초수렴성 리본의 무한대에서의 현수각의 새로운 기하적 특성화를 제시한다. 어크립과 커버가 제안한 오류가 있는 데이터 처리 부등식을 수정하여, 엄밀한 상수로 $ s^*(X;Y) $ 가 아니라 $ \rho_m^2(X;Y) $ 를 사용한 것이 잘못되었음을 입증하고, $ s^*(X;Y) $ 가 볼록성 분석을 통해 텐서화됨을 확립한다.

ABSTRACT

In this paper we provide a new geometric characterization of the Hirschfeld-Gebelein-Rényi maximal correlation of a pair of random $(X,Y)$, as well as of the chordal slope of the nontrivial boundary of the hypercontractivity ribbon of $(X,Y)$ at infinity. The new characterizations lead to simple proofs for some of the known facts about these quantities. We also provide a counterexample to a data processing inequality claimed by Erkip and Cover, and find the correct tight constant for this kind of inequality.

연구 동기 및 목표

• 최대상관관계 $ \rho_m(X;Y) $ 와 초수렴성 리본의 무한대에서의 현수각 $ s^*(X;Y) $ 의 새로운 기하적 특성화를 제공한다.
• 어크립과 커버가 잘못된 것으로 주장한 데이터 처리 부등식을 수정한다. 이 부등식은 엄밀한 상수로 $ \rho_m^2(X;Y) $ 를 잘못 사용하였다.
• 마르코프 체인 $ U-X-Y $ 에 대해 부등식 $ I(U;Y) \leq \lambda I(U;X) $ 에서 $ s^*(X;Y) $ 가 아니라 $ \rho_m^2(X;Y) $ 가 올바른 엄밀한 상수임을 입증한다.
• $ s^*(X;Y) $ 가 볼록성 및 함수 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 의 하한 볼록포장 분석을 통해 텐서화됨을 증명한다.

제안 방법

• $ t_\lambda(X) = H(Y) - \lambda H(X) $ 의 헤시안이 $ p(x) $ 에서 양정적임을 만족하는 가장 작은 $ \lambda $ 로 $ \rho_m^2(X;Y) $ 를 특성화한다.
• $ t_\lambda(X) $ 가 $ p(x) $ 에서 하한 볼록포장 $ K[t_\lambda](X) $ 와 일치하는 가장 작은 $ \lambda $ 로 $ s^*(X;Y) $ 를 특성화한다.
• $ t_\lambda(X) $ 를 사용하여 엔트로피 차이의 볼록성 성질을 분석하고, 최대상관관계 및 초수렴성에 대한 기하적 조건을 도출한다.
• 특정 채널과 입력 분포에 대해 $ I(U;Y) > \rho_m^2(X;Y) I(U;X) $ 임을 보여줌으로써 어크립-커버 부등식의 반례를 구성한다.
• $ t_\lambda(X_1) $ 과 $ t_\lambda(X_2) $ 가 각각 $ p_1(x_1) $ 과 $ p_2(x_2) $ 에서 볼록포장과 일치하면, $ t_\lambda(X_1,X_2) $ 가 $ p_1(x_1)p_2(x_2) $ 에서 볼록포장과 일치함을 보여 이로부터 $ s^*(X;Y) $ 의 텐서화를 증명한다.
• 사슬 법칙과 마르코프 체인 성질을 사용하여 조건부 엔트로피 및 상대엔트로피 비율을 포함하는 부등식을 유도하고, 이로 인해 $ s^*(X;Y) $ 가 엄밀한 상수임을 입증한다.

실험 결과

연구 질문

• RQ1 마르코프 체인 $ U-X-Y $ 에 대해 데이터 처리 부등식 $ I(U;Y) \leq \lambda I(U;X) $ 의 올바른 엄밀한 상수는 무엇인가?
• RQ2 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 의 헤시안을 통해 최대상관관계 $ \rho_m(X;Y) $ 는 어떻게 기하학적으로 특성화될 수 있는가?
• RQ3 무한대에서의 초수렴성 리본의 현수각 $ s^*(X;Y) $ 는 $ t_\lambda(X) $ 의 볼록포장과 어떻게 관련이 있는가?
• RQ4 왜 어크립-커버 부등식 $ I(U;Y) \leq \rho_m^2(X;Y) I(U;X) $ 는 실패하는가? 그리고 올바른 상수는 무엇인가?
• RQ5 $ s^*(X;Y) $ 는 텐서화되는가? 만약 그렇다면, 볼록성 및 엔트로피 분해를 통해 이를 어떻게 증명할 수 있는가?

주요 결과

• $ \rho_m^2(X;Y) $ 는 함수 $ t_\lambda(X) = H(Y) - \lambda H(X) $ 의 헤시안이 $ p(x) $ 에서 양정적이게 되는 가장 작은 $ \lambda $ 로 정의된다.
• $ s^*(X;Y) $ 는 함수 $ t_\lambda(X) $ 가 $ p(x) $ 에서 하한 볼록포장 $ K[t_\lambda](X) $ 와 일치하는 가장 작은 $ \lambda $ 로 정의된다.
• 어크립과 커버가 주장한 데이터 처리 부등식 $ I(U;Y) \leq \rho_m^2(X;Y) I(U;X) $ 는 잘못되었으며, 특정 채널과 입력 분포에 대해 $ I(U;Y) > \rho_m^2(X;Y) I(U;X) $ 임을 보여주는 반례가 구성되었다.
• 데이터 처리 부등식에서 올바른 엄밀한 상수는 $ s^*(X;Y) $ 이며, 모든 $ U-X-Y $ 마르코프 체인에 대해 부등식 $ I(U;Y) \leq s^*(X;Y) I(U;X) $ 가 성립한다.
• $ s^*(X;Y) $ 는 텐서화된다: 독립적인 쌍 $ (X_1,Y_1), (X_2,Y_2) $ 에 대해 $ s^*(X_1X_2;Y_1Y_2) = \max\{s^*(X_1;Y_1), s^*(X_2;Y_2)\} $ 이다.
• $ s^*(X;Y) $ 가 $ t_\lambda(X) $ 가 볼록포장과 일치하는 최소 $ \lambda $ 로 특성화됨을 통해, $ \rho_m^2(X;Y) $ 가 올바른 상수일 수 없는 이유가 명확해진다. 이는 국소적 볼록성에 해당하는 반면, $ s^*(X;Y) $ 는 전역적 볼록성에 기반하기 때문이다.