[論文レビュー] Adaptive estimation of conditional density function

Karine Bertin, Claire Lacour+1 more|arXiv (Cornell University)|Dec 27, 2013

Statistical Methods and Inference被引用数 6

ひとこと要約

本稿では、Goldenshluger-Lepski手法によるチューニングを用いて、核および射影ベースの手法を用いて固定された $ x $ における条件付き密度 $ f(Y|X) $ の適応的推定を提案する。非等方的ホルダー球上での最小最大レートの最適性を確立し、収束レートに与える $ f_X(x) $ の影響を明確に特定し、オラクル不等式および最小最大最適性を達成する。

ABSTRACT

In this paper we consider the problem of estimating $f$, the conditional density of $Y$ given $X$, by using an independent sample distributed as $(X,Y)$ in the multivariate setting. We consider the estimation of $f(x,.)$ where $x$ is a fixed point. We define two different procedures of estimation, the first one using kernel rules, the second one inspired from projection methods. Both adapted estimators are tuned by using the Goldenshluger and Lepski methodology. After deriving lower bounds, we show that these procedures satisfy oracle inequalities and are optimal from the minimax point of view on anisotropic H\{o}lder balls. Furthermore, our results allow us to measure precisely the influence of $\fx(x)$ on rates of convergence, where $\fx$ is the density of $X$. Finally, some simulations illustrate the good behavior of our tuned estimates in practice.

研究の動機と目的

• 固定設計点 $ x $ における多次元設定での条件付き密度 $ f(Y|X) $ のための適応的推定量の開発。
• 条件付き密度推定における未知の滑らかさの課題に対処するため、データ駆動型チューニングを用いる。
• 提案された推定量の最小最大最適性およびオラクル不等式の確立。
• 条件付き密度推定における収束レートに与える周辺密度 $ f_X(x) $ の影響の定量的分析。

提案手法

• バイアスとバリアンスのバランスを図るために、Goldenshluger-Lepski手法によるバンド幅選択を用いた核ベース推定が採用される。
• 射影ベース推定は、基底展開とGoldenshluger-Lepski手順による次元選択を用い、未知の滑らかさに適応する。
• チューニング手順は、複数の候補に対して推定量を比較することで、最適なスムージングパラメータまたは射影次元を選択する。
• この手法は、座標方向ごとに異なる滑らかさを許容する非等方的ホルダー球に適用される。
• 理論的分析によりリスクの上界が導出され、それらが下界と比較されることで最小最大最適性が確立される。
• 周辺密度 $ f_X(x) $、すなわち点 $ x $ における $ X $ の周辺密度が収束レートに与える影響が明示的に分析される。

実験結果

リサーチクエスチョン

• RQ1 未知の滑らかさを持つ条件付き密度 $ f(Y|X) $ の適応的推定は、どのように達成できるか？
• RQ2 $ f_X(x) $、すなわち点 $ x $ における $ X $ の周辺密度が、条件付き密度推定量の収束レートに与える正確な影響は何か？
• RQ3 核および射影ベース手法は、多次元設定において最適な最小最大レートを達成するために、適応的にチューニング可能か？
• RQ4 提案された推定量は、未知の滑らかさに適応するオラクル不等式を満たすか？
• RQ5 リスクの上界がタイトである、すなわち最小最大レートに確立された下界と一致するか？

主な発見

• 提案された核および射影ベース推定量は、非等方的ホルダー球上での最小最大レートを最適に達成し、未知の滑らかさへの適応性を裏付けた。
• 推定量はオラクル不等式を満たしており、滑らかさクラスが事前に分かっている場合とほぼ同等の性能を示すことを示した。
• 収束レートが $ f_X(x) $ に依存することが明確に示され、$ f_X(x) $ が小さい場合には遅いレートとなることが判明した。
• 導出された下界が推定量の上界と一致しており、最小最大最適性が確認された。
• シミュレーションによりチューニングされた推定量の実用的有効性が確認され、さまざまな設計点で良好な性能を示した。