[논문 리뷰] An entropy inequality for symmetric random variables

Jing Hao, Varun Jog|arXiv (Cornell University)|2018. 01. 11.

Wireless Communication Security Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 대칭 랜덤 변수들의 가중합의 미분 엔트로피에 대한 새로운 하한을 그들의 결합 엔트로피에 대해 설정한다. 대칭성과 기하학적 분석을 통해 n ≥ 3일 때, 이 하한은 오직 그리고 오직 변수들이 i.i.d. 가우시안일 때에만 날카로운 것으로 증명된다; n = 2일 경우, 등호가 성립하는 비가우시안 케이스가 추가로 존재하며, 이는 논문에서 완전히 특성화되어 있다. 이 결과는 선형 변환으로까지 확장되며, 결합 엔트로피와 방향 엔트로피를 연결하는 새로운 엔트로피 부등식의 클래스를 제공한다.

ABSTRACT

We establish a lower bound on the entropy of weighted sums of (possibly dependent) random variables $(X_1, X_2, \dots, X_n)$ possessing a symmetric joint distribution. Our lower bound is in terms of the joint entropy of $(X_1, X_2, \dots, X_n)$. We show that for $n \geq 3$, the lower bound is tight if and only if $X_i$'s are i.i.d.\ Gaussian random variables. For $n=2$ there are numerous other cases of equality apart from i.i.d.\ Gaussians, which we completely characterize. Going beyond sums, we also present an inequality for certain linear transformations of $(X_1, \dots, X_n)$. Our primary technical contribution lies in the analysis of the equality cases, and our approach relies on the geometry and the symmetry of the problem.

연구 동기 및 목표

• 대칭 랜덤 변수들의 가중합의 엔트로피에 대한 하한을 그들의 결합 엔트로피에 대해 설정하는 것.
• 이 하한의 등호 성립 조건을 특성화하는 것, 특히 n = 2와 n ≥ 3의 경우에 대해.
• 이 부등식을 대칭 랜덤 벡터의 일반적인 선형 변환으로 확장하는 것.
• 대칭 및 로그-볼록 분포에서 엔트로피를 최대화하는 방향에 관한 열린 문제를 해결하는 것.
• 등호 성립 조건을 분석하기 위한 기하학적 및 대칭 기반 접근법을 제공하는 것.

제안 방법

• 저자들은 랜덤 변수들의 결합 분포의 대칭성을 이용하여 밀도 함수에 대한 구조적 제약 조건을 유도한다.
• 등호 성립 조건의 엔트로피 부등식을 분석하기 위해 기하학적 및 변분 기법을 적용한다.
• 증명은 대칭 하에 스코어 함수의 수직성과 Lemma A.4를 활용해 교차 도함수 항이 사라짐을 보이는 데 기반한다.
• 핵심 단계로는 대칭 하에서 밀도를 주변 및 조건부 성분으로 분해하여 조건부 독립 결과를 이끌어내는 것이다.
• 특성 함수와 조건부 독립 논리(보조정리 A.5 및 A.6)를 사용하여 모멘트 조건으로부터 분포적 성질을 도출한다.
• 정규 직교 행렬을 통해 선형 변환으로 분석을 확장하여, 부등식 (4)를 통해 방향 엔트로피와 결합 엔트로피를 연결한다.

실험 결과

연구 질문

• RQ1 대칭 랜덤 벡터에 대해, 그 합의 엔트로피에 대한 결합 엔트로피에 대해 가장 날카로운 하한은 무엇인가?
• RQ2 이 엔트로피 부등식에서 등호는 언제 성립하는가, 특히 n = 2와 n ≥ 3의 경우에 대해?
• RQ3 (1,1,…,1)/√n 방향이 대칭 및 로그-볼록 분포에서 엔트로피를 최대화하는 방향인가?
• RQ4 대칭 분포에 대해 중심극한정리에서 엔트로피의 단조성은 대칭 분포에 대한 방향 엔트로피 하한을 통해 특성화될 수 있는가?
• RQ5 n = 2일 때, i.i.d. 가우시안 이외의 등호 성립 조건은 무엇이며, 이를 완전히 규명할 수 있는가?

주요 결과

• n ≥ 3일 때, 엔트로피 하한은 오직 그리고 오직 대칭 랜덤 변수들이 i.i.d. 가우시안일 때에만 날카로운 것으로 밝혀진다.
• n = 2일 때, 등호는 i.i.d. 가우시안 외에도 더 넓은 범위의 대칭 분포에서 성립하며, 이는 논문에서 완전히 특성화되어 있다.
• 정규화된 합 ∑Xi/√n의 엔트로피 하한은 h(X)/n이며, 여기서 h(X)는 결합 미분 엔트로피이다.
• 임의의 단위 벡터 a에 대해, 방향 엔트로피 h(a·X)는 h(a·X) ≥ h(X)/n + log(n^{n/2} ∏ai)를 만족하며, 이는 (1,…,1)/√n 방향에서 최대화된다.
• Xi 간의 독립성을 가정하지 않아도 부등식이 성립하므로, 고전적 엔트로피 파워 부등식과 구별된다.
• 이 결과는 결합 엔트로피와 선형 조합의 엔트로피를 명시적으로 연결하는 새로운 엔트로피 부등식의 클래스를 제공하며, 방향 엔트로피 최대화에의 응용이 가능하다.