[논문 리뷰] Approximation and Estimation of s-Concave Densities via Rényi Divergences

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|2015. 05. 02.

Risk and Portfolio Optimization참고 문헌 24인용 수 6

한 줄 요약

이 논문은 약간의 조건 하에 존재성, 유일성 및 일致성 등을 보장하는 리니 타입의 분산 기반 방법을 제안하여 s-볼록 밀도를 근사하고 추정한다. 또한 s ↗ 0일 때 리니 타입의 분산 추정량이 로그-볼록 밀도에 대해 최대우도추정량(MLE)으로 수렴함을 보이며, 형태 제약 조건 하에서 점근적 분포 이론 및 모드 추정이 가능해진다.

ABSTRACT

In this paper, we study the approximation and estimation of $s$-concave densities via Rényi divergence. We first show that the approximation of a probability measure $Q$ by an $s$-concave densities exists and is unique via the procedure of minimizing a divergence functional proposed by Koenker and Mizera (2010) if and only if $Q$ admits full-dimensional support and a first moment. We also show continuity of the divergence functional in $Q$: if $Q_n o Q$ in the Wasserstein metric, then the projected densities converge in weighted $L_1$ metrics and uniformly on closed subsets of the continuity set of the limit. Moreover, directional derivatives of the projected densities also enjoy local uniform convergence. This contains both on-the-model and off-the-model situations, and entails strong consistency of the divergence estimator of an $s$-concave density under mild conditions. One interesting and important feature for the Rényi divergence estimator of an $s$-concave density is that the estimator is intrinsically related with the estimation of log-concave densities via maximum likelihood methods. In fact, we show that for $d=1$ at least, the Rényi divergence estimators for $s$-concave densities converge to the maximum likelihood estimator of a log-concave density as $s earrow 0$. The Rényi divergence estimator shares similar characterizations as the MLE for log-concave distributions, which allows us to develop pointwise asymptotic distribution theory assuming that the underlying density is $s$-concave.

연구 동기 및 목표

• 리니 타입 분산 최소화를 통해 s-볼록 밀도에 대한 일치하고 잘 행동하는 추정 절차를 개발하기 위해.
• 리니 타입 분산을 s-볼록 밀도의 집합 위에 투영할 때 존재성, 유일성 및 연속성 등의 이론적 기초를 확립하기 위해.
• s ↗ 0일 때 리니 타입 분산 추정량과 로그-볼록 밀도에 대한 최대우도추정량(MLE) 사이의 격차를 메우기 위해 수렴성을 보여주어, 이들 사이의 연결 고리를 확립하기 위해.
• 진짜 밀도가 s-볼록일 것이라는 가정 하에 추정량의 점별 점근적 분포 이론을 유도하기 위해.
• 제안된 분산 기반 추정량을 통해 s-볼록 밀도의 모드 및 기타 특성에 대한 추론을 가능하게 하기 위해.

제안 방법

• 주어진 확률 측도 Q에 대해 s-볼록 밀도의 집합 위에 리니 타입 분산 기능을 최소화하여 Q의 투영을 수행하기 위해.
• 코엔커와 마이저의(2010) 분산 최소화 프레임워크를 활용하여, 일반화된 엔트로피 기반의 이질성에 기반한 리니 타입 분산 추정량을 정의하기 위해.
• 볼록 해석학과 지지 조건을 활용하여, Q가 전체 차원의 지지 집합과 일차 모멘트를 갖는 경우 투영의 존재성과 유일성을 증명하기 위해.
• Q가 와서슈타인 거리에서 수렴할 경우, 가중 L1 및 균일 노름에서 수렴성을 확립하기 위해.
• 투영된 밀도의 방향 도함수를 분석하여 국소 균일 수렴성을 보여주기 위해.
• 일변량의 경우에 s ↗ 0일 때 리니 타입 추정량이 최대우도추정량으로 수렴함을 증명함으로써, 리니 타입 추정량과 MLE 간의 연결 고리를 확립하기 위해.

실험 결과

연구 질문

• RQ1 확률 측도 Q가 s-볼록 밀도의 집합 위에 리니 타입 분산 투영이 존재하고 유일하게 유지되는 조건은 무엇인가?
• RQ2 기저 측도 Q의 약한 수렴 조건 하에서 리니 타입 분산 추정량은 L1 및 균일 수렴 측면에서 어떻게 행동하는가?
• RQ3 s ↗ 0일 때 리니 타입 분산 추정량의 점근적 행동은 어떠한가? 이는 로그-볼록 밀도에 대한 최대우도추정량과 어떻게 관련이 있는가?
• RQ4 진짜 밀도가 s-볼록일 것이라는 가정 하에 리니 타입 분산 추정량에 대해 점별 점근적 분포 이론을 개발할 수 있는가?
• RQ5 Q 수렴 조건 하에서 투영된 밀도의 방향 도함수는 어떻게 행동하는가? 이는 국소 추정 성질에 어떤 영향을 미치는가?

주요 결과

• 확률 측도 Q가 전체 차원의 지지 집합과 일차 모멘트를 갖는 경우에 한하여, Q의 리니 타입 분산 투영은 존재하고 유일하다.
• Qn → Q가 와서슈타인 거리에서 수렴할 경우, 해당 투영된 밀도는 가중 L1 노름과 극한의 연속 집합의 컴acts부분집합에서 균일하게 수렴한다.
• Qn의 동일한 수렴 조건 하에서, 투영된 밀도의 방향 도함수는 국소 균일하게 수렴한다.
• d = 1인 경우, s-볼록 밀도에 대한 리니 타입 분산 추정량은 s ↗ 0일 때 로그-볼록 밀도의 최대우도추정량으로 수렴한다.
• 리니 타입 분산 추정량은 로그-볼록 밀도에 대한 MLE와 유사한 특성들을 계승하며, 이는 점별 점근적 분포 이론의 개발을 가능하게 한다.
• 약간의 정규성 조건 하에서 추정량은 강한 일致성을 갖는다. 그 한계 행동은 기저 측도의 차원성과 지지 구조와 관련이 있다.