[논문 리뷰] Reversals of Rényi Entropy Inequalities under Log-Concavity

James Melbourne, Tomasz Tkocz|arXiv (Cornell University)|2020. 05. 21.

Spectral Theory in Mathematical Physics참고 문헌 37인용 수 5

한 줄 요약

이 논문은 ℤ 위의 이산 로그볼록(random variables)에 대해 날카로운 Rényi 엔트로피 역전을 확립하며, α 순서 Rényi 엔트로피와 최소 엔트로피 사이의 차이가 log(α^{1/(α−1)})로 유계임을 증명한다. 등호는 양측 기하분포의 극한에서 도달된다. 주요성질과 Schur 볼록성의 이론을 사용하여 연속 결과를 이산 설정으로 확장하고, 최적 상수를 갖는 이산 엔트로피적 Rogers-Shephard 부등식의 이산 형태를 유도한다.

ABSTRACT

We establish a discrete analog of the Rényi entropy comparison due to Bobkov and Madiman. For log-concave variables on the integers, the min entropy is within log e of the usual Shannon entropy. Additionally we investigate the entropic Rogers-Shephard inequality studied by Madiman and Kontoyannis, and establish a sharp Rényi version for certain parameters in both the continuous and discrete cases

연구 동기 및 목표

• 연속 경우에서 알려진 로그볼록 분포에 대한 Rényi 엔트로피 역전 부등식의 이산 형태를 확립하기 위해.
• 정수 값을 갖는 로그볼록 이산 랜덤 변수에 대해 α 순서 엔트로피와 최소 엔트로피 사이의 차이의 날카로움을 규명하기 위해.
• 이산 설정에서 임의의 순서의 Rényi 엔트로피에 대해 엔트로피적 Rogers-Shephard 부등식을 확장하기 위해.
• Rényi 엔트로피 차이의 극한화 시퀀스가 p→0일 때의 극한에서 이중 기하분포임을 증명하기 위해.
• 일반적인 로그볼록 변수에 대해 이산 케이스에서는 극한분포가 존재하지 않지만, 연속 케이스에서는 지수분포가 엔트로피 차이를 극한화한다는 점을 비교하기 위해.

제안 방법

• 모든 ℤ 위의 로그볼록 분포가 동일한 ∞-Rényi 엔트로피를 갖는 이중 기하분포보다 주요성질을 갖는다는 것을 주요성질 이론을 통해 보여주기 위해.
• Rényi 엔트로피의 Schur 볼록성 특성을 활용하여 문제를 이중 기하분포 위에서의 명시적 계산으로 단순화하기 위해.
• 수열의 로그볼록성에 기반한 이산 Prékopa-Leindler 부등식의 이산 형태를 적용하여 엔트로피 순서를 유지하기 위해.
• p→0일 때 기하분포의 극한을 사용하여 날카로운 상수 log(α^{1/(α−1)})를 도출하기 위해.
• 연속 증명 전략을 적응하여 이산 엔트로피적 Rogers-Shephard 부등식을 수립하기 위해, 연속 엔트로피 부등식을 이산 형태로 대체하기 위해.
• i.i.d. 기하분포 X_p, Y_p에 대해 H_α(X_p - Y_p) - H_α(X_p)의 극한을 계산하여 log 2를 도출함으로써 날카로움을 검증하기 위해.

실험 결과

연구 질문

• RQ1 ℤ 위의 이산 로그볼록 랜덤 변수에 대해 H_α(X) - H_∞(X)의 날카로운 상한은 무엇이며, 이것이 도달되는가?
• RQ2 최적 상수를 갖는 연속 Rényi 엔트로피 역전 부등식을 이산 설정으로 확장할 수 있는가?
• RQ3 임의의 순서의 Rényi 엔트로피에 대해 엔트로피적 Rogers-Shephard 부등식의 이산 형태는 무엇인가?
• RQ4 Rényi 엔트로피 차이의 이산 극한분포가 존재하는가? 존재하지 않는다면 어떤 수열이 날카로운 상수를 제공하는가?
• RQ5 이산 케이스에서 Rényi 엔트로피 차이의 행동은 연속 케이스와 어떻게 비교되는가? 특히 극한분포와 상수 측면에서.

주요 결과

• ℤ 위의 임의의 로그볼록 랜덤 변수 X에 대해 H_α(X) - H_∞(X)는 log(α^{1/(α−1)})보다 엄밀히 작으며, 등호는 이중 기하분포의 극한에서 도달된다.
• i.i.d. 기하분포 X_p, Y_p에 대해 p→0일 때 날카로운 상수 log(α^{1/(α−1)})가 도달된다.
• 이산 엔트로피적 Rogers-Shephard 부등식은 H_α(X−Y) - H_α(X) < log c(α)로 기술되며, 여기서 c(α) = α^{1/(α−1)} (α ≤ 2일 때) 및 2α^{1/(α−1)} (α > 2일 때)이다.
• α = 2 및 α = ∞일 때 이 부등식은 날카로우며, 기하분포의 극한에서 등호가 도달된다.
• α = 1일 때(샤논 엔트로피의 경우), 이 부등식은 H(X−Y) - H(X) < log e로 단순화되며, 이는 날카로우며 기존 연속 결과와 일치한다.
• 이산 케이스의 극한화 시퀀스는 이중 기하분포이며, 이는 연속 케이스에서 엔트로피 차이를 극한화하는 지수분포와 대조된다.