[論文レビュー] Optimal model selection for density estimation of stationary data under various mixing conditions

Matthieu Lerasle|arXiv (Cornell University)|Jan 1, 2011

Statistical Methods and Inference参考文献 31被引用数 9

ひとこと要約

本稿では、β-またはτ-混合の依存性条件下におけるマージナル密度推定における最適モデル選択のためのブロックリサンプリングペナルティ法を提案する。リサンプリングをデータブロックに適用し、スロープハーフューリティを用いたデータ駆動型の先導定数を活用することで、観測値が弱い依存性を持つ場合でも、先導定数が1に近づく漸近的最適なオラクル不等式を達成する推定器が得られる。これは、独立データの設定を超えて、古典的なペナルティ理論を弱い依存性を持つデータに拡張するものである。

ABSTRACT

International audience

研究の動機と目的

• 独立データに限らない弱い依存性を持つ混合過程における密度推定の最適モデル選択法を拡張すること。
• 依存データにおけるオラクル不等式の先導定数を最適化するデータ駆動型ペナルティキャリブレーション法（スロープハーフューリティ）を構築すること。
• ブロックリサンプリングペナルティが、β-またはτ-混合の下で、漸近的に最適な先導定数を有する鋭いオラクル不等式をもたらすことを証明すること。
• 従来の混合係数（例：β）が依存性を捉えきれない弱い依存性を持つ過程に対して、リサンプリングに基づくペナルティ理論を一般化すること。

提案手法

• 独立同分布のリサンプリングを、依存データのセグメントに対するブロックベースのリサンプリングに置き換えることで、リサンプリングペナルティの一般化としてブロックリサンプリングペナルティを提案する。
• DedeckerとPrieur（2005年）およびBerbee（1979年）の結果に依拠し、カップリング法を用いて、独立プロセスからβ-またはτ-混合プロセスへの濃度不等式の拡張を実現する。
• ブロックリサンプリングペナルティを、理想ペナルティのデータ駆動型推定として定義する：penW(m,C) = C × E_W[2(P^W_A - W P_A)(b^W_{A,m})]。
• リスクを最小化するデータ駆動アプローチを用いて、ペナルティの先導定数Cをスロープハーフューリティによりキャリブレーションする。
• BousquetとKlein-Rioの濃度不等式を、リサンプリングブロック上の経験過程に適用し、ペナルティが理想ペナルティからどれほど逸脱するかを制御する。
• 標準的なモデル集合（正則ヒストグラム、フーリエ、ウェーブレット空間）に対して手法を検証し、明示的な定数を用いて必要な(H4)条件が満たされることを証明する。

実験結果

リサーチクエスチョン

• RQ1 ブロックリサンプリングペナルティは、β-またはτ-混合の依存性下で、密度推定に対して漸近的に最適なオラクル不等式を達成できるか？
• RQ2 オラクル不等式のペナルティにおける先導定数を最適化するスロープハーフューリティは、弱い依存性を持つデータの密度推定に有効か？
• RQ3 混合条件の下で、オラクル不等式の先導定数をデータからキャリブレーションし、漸近的に1に近づけることは可能か？
• RQ4 標準的なモデル集合（ヒストグラム、フーリエ、ウェーブレット）は、混合条件下で提案手法に必要な技術的条件（H4）を満たすか？
• RQ5 カップリング法をβ-混合からτ-混合プロセスへ拡張することで、より広範な依存データのクラスをカバーできるか？

主な発見

• ブロックリサンプリングペナルティ付き推定器は、β-またはτ-混合の下で、n → ∞ のときKn → 1 となるオラクル不等式を満たし、漸近的最適性を達成する。
• スロープハーフューリティは、β-またはτ-混合の下で密度推定に有効であることが証明され、ペナルティの先導定数のデータ駆動型選択を可能にする。
• 観測値が依存性を持つ場合でも、選択された推定器 ˜s_A に対して鋭いオラクル不等式（不等式(2.2)でKn → 1）が達成される。
• ペナルティ項 penW(m,C) はブロック（Ai）におけるリサンプリングを用いて構築され、その期待値が理想ペナルティからの逸脱を制御する。
• ペナルティの逸脱に関する理論的レートとして、εn = (ln n)^{-1/2} が導出され、混合条件の下で収束が保証される。
• 本手法は、標準的なモデル集合（正則ヒストグラム、フーリエ、ウェーブレット）に対して検証され、明示的な定数を用いてすべて(H4)条件を満たす。