[논문 리뷰] Entropy of convex functions on $R^d$

Fuchang Gao, Jon A. Wellner|arXiv (Cornell University)|2015. 02. 05.

Point processes and geometric inequalities참고 문헌 15인용 수 3

한 줄 요약

이 논문은 $\mathbb{R}^d$ 위에서의 볼록 함수에 대한 $L^p$ 노름 하에서 $\varepsilon$-엔트로피에 대한 날카운 경계를 확립한다. 이는 모든 $d$차원 다면체에서 $\varepsilon^{-d/2}$가 일반적인 하한이 되며, 이 하한이 다면체의 경우에도 상한이 됨을 보여주며, $p > \frac{dr}{d+(d-1)r}$일 때 단위 구가 이 상한 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$를 달성함을 보여준다. 결과적으로 도메인의 기하학적 성질이 메트릭 엔트로피에 미치는 영향을 해결하며, 비모수 추정 속도에 응용 가능하다.

ABSTRACT

Let $Ω$ be a bounded closed convex set in ${\mathbb R}^d$ with non-empty interior, and let ${\cal C}_r(Ω)$ be the class of convex functions on $Ω$ with $L^r$-norm bounded by $1$. We obtain sharp estimates of the $ε$-entropy of ${\cal C}_r(Ω)$ under $L^p(Ω)$ metrics, $1\le p\frac{dr}{d+(d-1)r}$ is attained by the closed unit ball. While a general convex body can be approximated by inscribed polytopes, the entropy rate does not carry over to the limiting body. Our results have applications to questions concerning rates of convergence of nonparametric estimators of high-dimensional shape-constrained functions.

연구 동기 및 목표

• 유계 볼록 도메인을 가진 $\mathbb{R}^d$ 위에서의 볼록 함수에 대한 $L^p$ 노름 하에서 $\varepsilon$-엔트로피의 정확한 渐近 성장률을 결정하는 것.
• 내부가 비어 있지 않은 컴팩트 볼록 집합 $\Omega$와 $1 \leq p < r \leq \infty$에 대해 클래스 $\mathcal{C}_r(\Omega)$의 메트릭 엔트로피에 대한 날카운 상한 및 하한을 확립하는 것.
• 도메인 $\Omega$의 기하학적 구조—예를 들어 다면체 또는 단위 구—가 볼록 함수의 엔트로피 비율에 미치는 영향을 조사하는 것.
• 근사 다면체와 그 극한 볼록체 사이의 엔트로피 비율 간 괴리 문제를 해결하며, 엔트로피가 극한에서 유지되지 않음을 보여주는 것.

제안 방법

• 서로소 정사각형 또는 캡을 구성하여, 임의의 $d$차원 볼록체 $\Omega$에 대해 $\varepsilon$-엔트로피에 대한 일반적인 하한 $\varepsilon^{-d/2}$를 유도하는 것.
• 다면체인 $\Omega$에 대해 이 $\varepsilon^{-d/2}$ 하한이 상한이 되며, 다면체를 삼등분하고 작은 서로소 영역에 지지된 볼록 함수의 집합을 구성함으로써 이를 증명하는 것.
• 단위 구에 대해 순서 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$의 일치 상한을 확립하기 위해, 높이 $h$인 서로소 구면 캡에 지지된 $2^s$개의 볼록 함수를 구성하고, $L^p$ 거리 분석을 사용하는 것.
• 정규화된 비완전 베타 함수를 사용하여 구면 캡의 면적을 추정하고, 단위 구 위에 포장 가능한 서로소 캡의 수를 제어하는 것.
• 사슬 논법(chainig argument)을 적용하여, 상호 $L^p$ 거리가 적어도 $\delta_d h^{1/p}$ 이상인 $2^{s/2}$개의 함수 집합을 구성함으로써, $h^{-(d-1)/2}$에 대해 지수적 하한을 도출하는 것.
• 일반 볼록체를 내접 다면체로 근사할 때 엔트로피 비율이 수렴하지 않음을 보여, 극한 도메인의 엔트로피 비율이 근사 다면체의 엔트로피 비율을 물려받지 않는다는 것을 입증하는 것.

실험 결과

연구 질문

• RQ1 다양한 $d$차원 볼록체 $\Omega$에 대해 $1 \leq p < r \leq \infty$일 때, 볼록 함수의 $\varepsilon$-엔트로피의 정확한 渐近 비율은 무엇인가?
• RQ2 내부가 비어 있지 않은 $d$차원 다면체 $\Omega$에 대해, 메트릭 엔트로피의 $\varepsilon^{-d/2}$ 하한이 상한으로도 성립하는가?
• RQ3 클래스 $\mathcal{C}_r(\Omega)$의 엔트로피 비율이 $\Omega$가 단위 구일 때 최대가 되는가? 만약 그렇다면 정확한 비율은 무엇인가?
• RQ4 일반 볼록체의 엔트로피는 내접 다면체의 엔트로피로 근사될 수 있는가, 아니면 엔트로피 비율이 극한에서 수렴하지 않는가?

주요 결과

• $\varepsilon^{-d/2}$ 비율은 내부가 비어 있지 않은 임의의 $d$차원 볼록체 $\Omega$에 대해 볼록 함수의 $\varepsilon$-엔트로피에 대한 일반적인 하한이다.
• $d$차원 볼록 다면체에 대해 $\varepsilon^{-d/2}$ 비율은 상한이기도 하며, 이는 날카롭고 기하학적으로 최적임을 의미한다.
• 닫힌 단위 구 $\Omega = B_d(0,1)$에 대해, $L^p$ 노름 하에서 $\mathcal{C}_\infty(\Omega)$의 $\varepsilon$-엔트로피는 $\exp\left(C\varepsilon^{-(d-1)p/2}\right)$ 이하로 바운드되며, 이는 $r = \infty$ 및 $p > \frac{d}{d+1}$일 때 상한 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$와 일치한다.
• 일반 볼록체의 엔트로피 비율은 근사 다면체의 엔트로피 비율을 물려받지 않으며, 이는 엔트로피 행동이 하우스도르프 수렴 하에서 연속적이지 않음을 시사한다.
• $\mathcal{C}_\infty([0,1]^d)$의 브라켓 엔트로피는 $L^p$ 노름 하에서 $c \varepsilon^{-d/2}$ 이하로 바운드되며, 이는 $L^1$-노름에 대한 하한과 일반적인 $\varepsilon^{-d/2}$ 하한에 기인한다.
• 높이 $h$인 서로소 구면 캡에 지지된 $2^s$개의 볼록 함수를 구성하면, 상호 $L^p$ 거리가 적어도 $\delta_d h^{1/p}$ 이상인 함수 집합을 얻을 수 있으며, 이는 $\delta_d h^{1/p} = \varepsilon$일 때 비율 $\varepsilon^{-(d-1)p/2}$의 하한을 이끌어낸다.