[論文レビュー] Approximation and Estimation of s-Concave Densities via Rényi Divergences

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|May 2, 2015

Risk and Portfolio Optimization参考文献 24被引用数 6

ひとこと要約

本稿では、s-凹密度の近似および推定のためのRényi発散に基づく手法を導入し、弱い条件下でも存在性、一意性、一貫性を確立する。Rényi発散推定量がs ↗ 0のとき、log-凹密度の最尤推定量に収束することを示しており、形状制約下での漸近的分布理論およびモード推定を可能にする。

ABSTRACT

In this paper, we study the approximation and estimation of $s$-concave densities via Rényi divergence. We first show that the approximation of a probability measure $Q$ by an $s$-concave densities exists and is unique via the procedure of minimizing a divergence functional proposed by Koenker and Mizera (2010) if and only if $Q$ admits full-dimensional support and a first moment. We also show continuity of the divergence functional in $Q$: if $Q_n o Q$ in the Wasserstein metric, then the projected densities converge in weighted $L_1$ metrics and uniformly on closed subsets of the continuity set of the limit. Moreover, directional derivatives of the projected densities also enjoy local uniform convergence. This contains both on-the-model and off-the-model situations, and entails strong consistency of the divergence estimator of an $s$-concave density under mild conditions. One interesting and important feature for the Rényi divergence estimator of an $s$-concave density is that the estimator is intrinsically related with the estimation of log-concave densities via maximum likelihood methods. In fact, we show that for $d=1$ at least, the Rényi divergence estimators for $s$-concave densities converge to the maximum likelihood estimator of a log-concave density as $s earrow 0$. The Rényi divergence estimator shares similar characterizations as the MLE for log-concave distributions, which allows us to develop pointwise asymptotic distribution theory assuming that the underlying density is $s$-concave.

研究の動機と目的

• Rényi発散最小化を用いて、s-凹密度の一致性と良好な振る舞いを示す推定手順を開発すること。
• Rényi発散のs-凹密度への射影に関する理論的基盤（存在性、一意性、連続性）を確立すること。
• s ↗ 0のときのRényi発散推定量とlog-凹密度の最尤推定量（MLE）との間のギャップを埋めるために、収束を示すこと。
• 真の密度がs-凹であるという仮定の下で、推定量の点별漸近的分布理論を導出すること。
• 提案された発散に基づく推定量を用いて、s-凹密度のモードやその他の特徴に関する推論を可能にすること。

提案手法

• 与えられた確率測度Qに対して、s-凹密度のクラス上でのRényi発散関数を最小化することで、Qの射影を定義する。
• KoenkerとMizera（2010）の発散最小化フレームワークを用い、Rényi発散推定量を一般化されたエントロピーに基づく乖離の最小化として定義する。
• 凸解析とサポート条件を活用し、Qが全次元的サポートと1階モーメントを持つ場合に、射影の存在性と一意性を証明する。
• QのWasserstein距離における収束が成立する場合、重み付きL1ノルムおよび一様ノルムにおける収束を確立する。
• 射影された密度関数の方向微分を分析し、局所的一様収束を示す。
• 1次元の場合に、s ↗ 0のときRényi推定量がlog-凹密度のMLEに収束することを証明することで、Rényi推定量とMLEとの関係を明確にする。

実験結果

リサーチクエスチョン

• RQ1 確率測度Qのs-凹密度のクラスへのRényi発散射影が存在し、一意に保たれるための条件は何か？
• RQ2 基礎となる測度Qの弱収束の下で、Rényi発散推定量はL1および一様収束の観点でどのように振る舞うか？
• RQ3 s ↗ 0のとき、Rényi発散推定量の極限的挙動は何か？また、log-凹密度の最尤推定量とはどのように関係するか？
• RQ4 真の密度がs-凹であるという仮定の下で、Rényi発散推定量の点別漸近的分布理論を構築できるか？
• RQ5 Qnの収束の下で、射影された密度関数の方向微分はどのように振る舞うか？また、これにより局所的推定特性にどのような影響があるか？

主な発見

• 確率測度Qのs-凹密度のクラスへのRényi発散射影が存在し、かつ一意であるための必要十分条件は、Qが全次元的サポートと1階モーメントを持つことである。
• Qn → Q がWasserstein距離で成り立つならば、対応する射影された密度関数は重み付きL1ノルムおよび極限関数の連続集合のコンパクト部分集合上で一様収束する。
• Qnの収束条件が成り立つ限り、射影された密度関数の方向微分も局所的一様収束を示す。
• d = 1の場合、s-凹密度のRényi発散推定量はs ↗ 0のとき、log-凹密度の最尤推定量に収束する。
• Rényi発散推定量は、log-凹密度のMLEと類似した特徴付けを備えており、点別漸近的分布理論の構築を可能にする。
• 弱い正則性条件のもとで推定量は強く一貫している。その極限的挙動は、基礎となる測度の次元およびサポート構造に依存する。