[論文レビュー] Linear and convex aggregation of density estimators

Philippe Rigollet, Alexandre B. Tsybakov|ArXiv.org|May 11, 2006

Statistical Methods and Inference参考文献 16被引用数 8

ひとこと要約

本稿では、$L_2$リスク下での最小最大収束速度を達成する密度推定子の線形および凸結合手順を提案する。鋭いオラクル不等式を確立し、最良の線形または凸結合推定子の性能を模倣することを示し、剰余項が最小最大的に最適であることを示し、さまざまな帯域幅を有する多次元カーネル密度推定子への応用によりこれを実証する。

ABSTRACT

We study the problem of linear and convex aggregation of $M$ estimators of a density with respect to the mean squared risk. We provide procedures for linear and convex aggregation and we prove oracle inequalities for their risks. We also obtain lower bounds showing that these procedures are rate optimal in a minimax sense. As an example, we apply general results to aggregation of multivariate kernel density estimators with different bandwidths. We show that linear and convex aggregates mimic the kernel oracles in asymptotically exact sense for a large class of kernels including Gaussian, Silverman's and Pinsker's ones. We prove that, for Pinsker's kernel, the proposed aggregates are sharp asymptotically minimax simultaneously over a large scale of Sobolev classes of densities. Finally, we provide simulations demonstrating performance of the convex aggregation procedure.

研究の動機と目的

• 個々の密度推定子を組み合わせることで、最良のリスクを達成する単一の推定子を構築するための結合手順を開発すること。
• 線形および凸結合の問題を$M$個の密度推定子と$L_2$損失の下で取り扱い、リスクバウンドにおける剰余項を最小化することを目的とする。
• 一致する下界を導出することにより、提案された結合手順の最小最大最適性を確立すること。
• 特にピンスカーのカーネルを用いた場合に、Sobolevクラス全体にわたって漸近的に最小最大性を達成することを示すこと。
• 不均一な滑らかさを示す挑戦的な密度関数におけるシミュレーションを通じて、手法の実証的妥当性を検証すること。

提案手法

• 推定子の最適な重みを特定するために、ペナルティ付きの経験的リスクを最小化する線形結合手順を提案する。
• 単体$\Lambda^M$上での制約付き最適化フレームワークを用いて、非負かつ正規化された重みを保証する凸結合手順を導入する。
• オラクル不等式を用いて、結合推定子の$L_2$リスクが初期推定子の最良の線形または凸結合に対してどのように抑えられるかを評価する。
• 最小最大的に最適な剰余項$\Delta_{n,M}^\mathbf{L}$および$\Delta_{n,M}^\mathbf{C}$を導出し、結合に伴うコストが最小であることを示す。
• 一般枠組みを、異なる帯域幅を有する多次元カーネル密度推定子に適用し、結合推定子が漸近的にカーネルオラクルの性能を模倣することを証明する。
• 特に不均一な密度関数に対して有効であるため、スティンブロック推定子を結合の主要構成要素として用い、その重み分布および分割構成に対するロバストネスを検討する。

実験結果

リサーチクエスチョン

• RQ1 密度推定子の線形および凸結合は、$L_2$リスク下で最小最大最適な収束速度を達成できるか？
• RQ2 DPI、BCV、UCVなどの既存の帯域幅選択手法と比較して、提案された結合手順は、ロバストネスおよび性能において優れているか？
• RQ3 密度推定のための最適な結合速度は何か？ また、提案された手順はその速度に達しているか？
• RQ4 不均一な滑らかさ（例：クロー・密度やスムーズ・コンブ密度）を示す密度関数に対して、結合手順はどのように適応するか？
• RQ5 データの分割数およびサイズが、結合の性能に与える感度はどの程度か？

主な発見

• 提案された線形および凸結合手順は、最小最大的に最適な収束速度を達成し、剰余項が鋭く、これ以上改善できないことを示した。
• ピンスカーのカーネルに対しては、凸結合推定子が広範なSobolevクラス全体にわたって漸近的に最小最大性を同時に達成する。
• シミュレーションにより、AggSteinおよびAggPureがDPI、BCV、UCVといった標準的手法を上回ることを示した。特に、クロー密度のような不均一な滑らかさを示す密度関数において顕著な優位性を示した。
• AggStein手順は不均一な滑らかさにうまく適応する：クロー密度では、性能が最良のブロックスティン推定子に高い重みを割り当て、滑らかな密度ではそれを回避する。
• 密度推定子のMISEは、さまざまな密度に対して安定的かつロバストであった。最適な分割数は10〜20程度であり、20を超えると顕著な向上は得られなかった。
• 凸結合手順は、特に最良のカーネルオラクルの性能を模倣する点で顕著に効果的であり、ガウスカーネル、シルバーマンのカーネル、ピンスカーのカーネルを含む広範なカーネルクラスにおいて、漸近的にほぼオラクル性能に達する。