[論文レビュー] Estimating the conditional density by histogram type estimators and model selection

Mathieu Sart|arXiv (Cornell University)|Dec 22, 2015

Statistical Methods and Inference参考文献 32被引用数 5

ひとこと要約

本稿では、未知の周辺密度の挙動を考慮するための確率的でないヘルミート距離に基づくペナルティ基準を最小化する、ヒストグラム型推定器を用いた条件付き密度推定のデータ駆動型モデル選択手順を提案する。主な貢献は、最小限の仮定の下で非漸近的オラクル不等式を確立し、非一様的かつ非等方的ベソフ空間上での適応的推定を保証する最適収束速度を達成することである。

ABSTRACT

We propose a new estimation procedure of the conditional density for independent and identically distributed data. Our procedure aims at using the data to select a function among arbitrary (at most countable) collections of candidates. By using a deterministic Hellinger distance as loss, we prove that the selected function satisfies a non-asymptotic oracle type inequality under minimal assumptions on the statistical setting. We derive an adaptive piecewise constant estimator on a random partition that achieves the expected rate of convergence over (possibly inhomogeneous and anisotropic) Besov spaces of small regularity. Moreover, we show that this oracle inequality may lead to a general model selection theorem under very mild assumptions on the statistical setting. This theorem guarantees the existence of estimators possessing nice statistical properties under various assumptions on the conditional density (such as smoothness or structural ones).

研究の動機と目的

• 未知の滑らかさと密度の構造に適応するデータ駆動型モデル選択手順を、条件付き密度推定のために開発すること。
• 既存手法に共通する周辺密度 $ f_X $ の下界を要する制限を克服すること。
• 未知の周辺密度を重み付き測度を介して組み込む確率的でないヘルミート損失に基づく非漸近的オラクル不等式を確立すること。
• 滑らかさが小さい（非一様的かつ非等方的である可能性がある）ベソフ空間上での適応的推定速度を導出すること。
• 弱い仮定の下で一般化可能なモデル選択定理を提供し、最適な統計的性質を持つ推定器の構築を可能にすること。

提案手法

• 未知の周辺密度 $ f_X $ を考慮するための確率的でないヘルミート距離 $ h^2(f,g) = \frac{1}{2}\int_A (\sqrt{f}-\sqrt{g})^2 f_X(x)\,d\nu(x)\,d\mu(y) $ を用いたペナルティ基準を用いる。
• Baraud (2011)、Sart (2014)、および Baraud et al. (2016) のインスピレーションを受けて、未知の損失構造に適合したデータ駆動型ペナルティ項を適用する。
• 有限または可算個の関数族からなる候補推定子の集合を検討し、ランダム分割上の区分定数関数を含む。
• データを関数 $ u = (u_1, \dots, u_l) $ により $ A \to [0,1]^l $ に変換し、条件付き密度構造の柔軟なモデリングを可能にする。
• 複雑さペナルティを含むモデル選択フレームワークを用い、$ \Delta_{\mathbb{F}}(F) $ および $ \dim F $ を用いて過学習を制御する。
• ホルダー空間およびスアップノルム空間における近似誤差と、経験過程の集中不等式を組み合わせることで、非漸近的オラクル不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 周辺密度に下界が要求されない状況でも、未知の滑らかさと構造に適応する条件付き密度推定のためのモデル選択手順を設計できるか？
• RQ2 滑らかさが小さい非一様的かつ非等方的ベソフ空間上でのヒストグラム型推定子の最適収束速度は何か？
• RQ3 未知の周辺密度に依存する確率的でないヘルミート損失に基づく、オラクル不等式を保証するデータ駆動型ペナルティをどのように構築できるか？
• RQ4 どのような最小限の仮定の下で、最適な統計的性質を持つ条件付き密度推定の一般モデル選択定理が成立するか？
• RQ5 提案手法は、非対称的かつ非等方的滑らかさクラスを含む広範な関数空間クラスにおいて、適応的推定を達成できるか？

主な発見

• 選択された推定子は、最小限の仮定の下で非漸近的オラクル不等式を満たし、集合内での最良の候補に対する最適な性能を保証する。
• $ f_X $ が消える場合でさえも、滑らかさが小さい（非一様的かつ非等方的である可能性がある）ベソフ空間上での期待収束速度を達成する。
• オラクル不等式は、非常に弱い仮定の下で適用可能な一般モデル選択定理を導き、多様な構造的および滑らかさ制約にわたる適応的推定を可能にする。
• ランダム分割上の区分定数推定子を構築し、その推定子は考察されたベソフクラス上で最適収束速度を達成する。
• ペナルティ項は、$ f_X $ の未知の挙動に対応するように明示的に設計されており、$ f_X $ の下界を要しないという、先行研究との主要な改善点である。
• 収束速度がミニマックス理論の意味で最適であることが示され、滑らかさパラメータ $ \alpha_j $、次元 $ d_2 $、および標本サイズ $ n $ に明示的な依存関係を示し、$ \left(\frac{\log n}{n}\right)^{\frac{2\bar{\alpha}}{2\bar{\alpha}+1+d_2}} $ の速度を達成する。