[논문 리뷰] Rényi Divergence and $L_p$-affine surface area for convex bodies

Elisabeth M. Werner|arXiv (Cornell University)|2011. 05. 05.

Point processes and geometric inequalities참고 문헌 45인용 수 7

한 줄 요약

이 논문은 $L_p$-affine 표면 면적과 콘 측도의 Rényi 발산 사이의 깊은 연결을 보여줌으로써 볼록 기하학과 정보 이론 사이의 관계를 확립한다. 특히, 볼록체 $K$와 그의 폴라르 $K^\circ$의 콘 측도 사이의 Rényi 발산의 지수함수 형태로 $L_p$-affine 표면 면적이 표현됨을 보여준다. 이전 연구는 대칭성과 강한 미분 가능성 조건을 필요로 했지만, 본 논문의 접근법은 제1차 근사 전개만으로도 모든 Rényi 발산 $D_\alpha$에 대한 기하적 해석을 가능하게 하여, 이전의 $L_p$-중심체 이론에서 요구하던 제2차 전개보다 더 정교한 경계 정보를 드러낸다.

ABSTRACT

We show that the fundamental objects of the $L_p$-Brunn-Minkowski theory, namely the $L_p$-affine surface areas for a convex body, are closely related to information theory: they are exponentials of Rényi divergences of the cone measures of a convex body and its polar. We give geometric interpretations for all Rényi divergences $D_α$, not just for the previously treated special case of relative entropy which is the case $α=1$. Now, no symmetry assumptions are needed and, if at all, only very weak regularity assumptions are required. Previously, the relative entropies appeared only after performing second order expansions of certain expressions. Now already first order expansions makes them appear. Thus, in the new approach we detect "faster" details about the boundary of a convex body.

연구 동기 및 목표

• 볼록 기하학에서의 $L_p$-affine 표면 면적과 정보 이론에서의 Rényi 발산 사이의 기본적인 연결 고리를 확립하는 것.
• 특수한 경우인 $\alpha=1$ (상대 엔트로피)가 아닌 모든 $\alpha$에 대해 Rényi 발산 $D_\alpha$에 대한 기하적 해석을 제공하며, 대칭성이나 강한 미분 가능성 조건을 요구하지 않는 것.
• 제1차 전개만으로도 표면체나 조명 표면체의 체적 차이를 분석함으로써 Rényi 발산 정보를 추출할 수 있음을 보이며, 이는 이전 연구에서 요구하던 제2차 전개와는 다름을 밝히는 것.
• 이전의 $\Omega_K$와 같은 애फ인 불변량에 대한 결과를 비대칭 볼록체와 더 약한 정규성 조건으로 일반화하고 정교화하는 것.

제안 방법

• 모든 $\alpha > 0$, $\alpha \neq 1$에 대해 볼록체 $K$와 그 폴라르 $K^\circ$의 콘 측도 사이의 Rényi 발산 $D_\alpha$를 정의한다.
• 특정한 $\alpha = \frac{p}{n+p}$ 및 $\alpha = \frac{n}{n+p}$에 대해 $L_p$-affine 표면 면적과 혼합 $p$-affine 표면 면적이 각각 Rényi 발산 $D_\alpha$의 지수함수와 동일함을 보인다.
• 체적 차이 $|K| - |K_{f,s}|$의 제1차 전개를 이용해 Rényi 발산 정보를 추출함으로써, 이전 연구에서 요구하던 제2차 전개를 피한다.
• 표면체와 조명 표면체를 기하적 도구로 도입하여, $s \to 0$일 때 체적 감쇠 속도를 통해 Rényi 발산을 해석한다.
• 제1차 체적 전개와 Rényi 발산을 이용해 애फ인 불변량 $\Omega_K$와 $\mathcal{A}_K$에 대한 새로운 기하적 해석을 확립한다.
• 기존의 $L_p$-중심체 이론에 대한 결과를 활용하며, 제2차 전개를 제1차 전개로 대체함으로써 정규성 조건을 완화한다.

실험 결과

연구 질문

• RQ1 볼록체와 그 폴라르의 콘 측도 사이의 Rényi 발산과 $L_p$-affine 표면 면적은 어떤 관계가 있는가?
• RQ2 대칭성이나 $C^2_+$ 미분 가능성 조건 없이도 모든 $\alpha$에 대해 Rényi 발산 $D_\alpha$에 대한 기하적 해석을 가능하게 할 수 있는가?
• RQ3 왜 제1차 전개만으로도 표면체의 체적 변화에서 Rényi 발산 정보를 추출할 수 있는가? 이는 이전에 $L_p$-중심체 이론에서 제2차 전개가 필요로 했기 때문이다.
• RQ4 애फ인 불변량 $\Omega_K$와 $\mathcal{A}_K$는 Rényi 발산과 표면체의 체적 전개 사이에서 어떻게 관련되어 있는가?
• RQ5 약한 정규성 조건을 가정할 때, 비대칭 볼록체에 대해서도 Rényi 발산의 기하적 해석을 확장할 수 있는가?

주요 결과

• 볼록체 $K$의 $L_p$-affine 표면 면적은 $\exp\left(-\frac{p}{n+p} D_{\frac{p}{n+p}}(P_K \| Q_K)\right)$와 동일하며, 여기서 $P_K$와 $Q_K$는 $K$와 그 폴라르의 콘 측도이다.
• 대칭성이나 $C^2_+$ 조건 없이도 모든 $\alpha > 0$, $\alpha \neq 1$에 대해 Rényi 발산 $D_\alpha$에 대한 기하적 해석이 확립되었다.
• 표면체 $K_{f,s}$와 $K$의 체적 차이의 제1차 전개만으로도 Rényi 발산 정보를 추출할 수 있으며, 이는 이전의 $L_p$-중심체 이론에서 요구하던 제2차 전개보다 더 정교한 경계 정보를 드러낸다.
• 애फ인 불변량 $\Omega_K$는 $\exp\left(-D_{KL}(P_K \| Q_K)\right) \cdot \frac{|K|}{|K^\circ|}$로 기하학적으로 해석되며, 약한 미분 가능성 조건 하에서 비대칭 $K$에 대해서도 새로운 해석이 유효하다.
• 모든 $K \in C^2_+$에 대해, 체적 감쇠 속도 $\lim_{s \to 0} \frac{|K| - |K_{f,s}|}{s^{2/(n-1)}}$가 $c_n \cdot \text{Exp}(-\frac{p}{n+p} D_{\frac{p}{n+p}}(P_K \times \cdots \times P_K \| Q_K \times \cdots \times Q_K))$를 통해 Rényi 발산과 관련이 있음을 보였다.
• $\mathcal{A}_K$는 $\Omega_K^{1/n} = \mathcal{A}_{K^\circ}$를 만족하며, 제1차 체적 전개를 통한 표면체의 해석을 통해 기하학적 의미가 복원되었으며, 이는 이전 결과를 비대칭 볼록체로 확장한 것이다.