[論文レビュー] A comparative study of new cross-validated bandwidth selectors for kernel density estimation

Enno Mammen, Miranda, Maria Dolores Martinez+2 more|arXiv (Cornell University)|Sep 20, 2012

Sparse and Compressive Sensing Techniques参考文献 11被引用数 4

ひとこと要約

本稿は、核密度推定における新しい交差検証型バンド幅選択法を評価し、間接的交差検証とdo-検証（do-validation）を、多項式カーネルおよびガウスカーネルを用いて検討する。理論的には高次の多項式間接カーネルが間接的交差検証において性能を向上させるが、実務的応用ではdo-検証においてはその恩恵が得られず、むしろ元のdo-検証がバイアスが低いために、組み合わせ推定器やプラグイン法をも凌駕する。有限標本における性能が優れている。

ABSTRACT

Recent contributions to kernel smoothing show that the performance of cross-validated bandwidth selectors improve significantly from indirectness. Indirect crossvalidation first estimates the classical cross-validated bandwidth from a more rough and difficult smoothing problem than the original one and then rescales this indirect bandwidth to become a bandwidth of the original problem. The motivation for this approach comes from the observation that classical crossvalidation tends to work better when the smoothing problem is difficult. In this paper we find that the performance of indirect crossvalidation improves theoretically and practically when the polynomial order of the indirect kernel increases, with the Gaussian kernel as limiting kernel when the polynomial order goes to infinity. These theoretical and practical results support the often proposed choice of the Gaussian kernel as indirect kernel. However, for do-validation our study shows a discrepancy between asymptotic theory and practical performance. As for indirect crossvalidation, in asymptotic theory the performance of indirect do-validation improves with increasing polynomial order of the used indirect kernel. But this theoretical improvements do not carry over to practice and the original do-validation still seems to be our preferred bandwidth selector. We also consider plug-in estimation and combinations of plug-in bandwidths and crossvalidated bandwidths. These latter bandwidths do not outperform the original do-validation estimator either.

研究の動機と目的

• 新しい交差検証型バンド幅選択法、特に間接的交差検証とdo-検証の性能を、核密度推定において評価すること。
• 間接カーネルの多項式次数を増加させることで、理論的および実務的側面でのバンド幅選択性能が向上するかどうかを調査すること。
• do-検証、プラグイン法、ハイブリッド推定器の性能を、古典的交差検証および最適バンド幅と比較すること。
• 理論的に優れたバンド幅選択法が、有限標本設定において実際の利点にどのように反映されるかを特定すること。

提案手法

• 本研究では、より難しいスムージング問題に対して別のカーネルを用いてバンド幅を事前に選択し、その後元の問題にスケーリングし直す、間接的交差検証を採用する。
• 多項式次数の異なる間接カーネルと極限におけるガウスカーネルを評価し、理論的および有限標本における性能を分析する。
• do-検証は、漸近的性質が向上した間接的交差検証法として適用され、異なる間接カーネル次数における性能を比較する。
• 中央値推定器は、8つの交差検証型バンド幅（4つの間接カーネルおよび4つのdo-検証バリエーション）と5つのプラグイン型バンド幅を組み合わせ、最終推定値として中央値を選択する。
• シミュレーションは、n = 100, 200, 500, 1000の標本サイズと6つの密度設計で実施され、性能指標として平均統合二乗誤差（MISE）および90パーセンタイルISEを用いる。
• すべての手法の性能は、理論的ISE最適バンド幅を基準としてベンチマークされ、実世界の信頼性を反映するために経験的分位数を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 間接カーネルの多項式次数を増加させることで、間接的交差検証の実務的性能が向上するか？
• RQ2 高次多項式間接カーネルを用いたdo-検証の理論的改善が、有限標本における性能向上に反映されないのはなぜか？
• RQ3 複数のバンド幅選択法を組み合わせた中央値推定器は、個別の手法と比較して、ロバストネスおよび精度の面で優れているか？
• RQ4 プラグイン法やハイブリッド推定器は、理論的優位性があるにもかかわらず、実務的状況で元のdo-検証を上回る性能を示せるか？
• RQ5 応用的バンド幅選択において、平均ISEよりも90パーセンタイルISEがより適切な性能指標であるとされるか？

主な発見

• 間接的交差検証において、間接カーネルの多項式次数が増加するにつれて、理論的および実務的性能が向上し、ガウスカーネルが最適な極限となる。
• do-検証においては、高次多項式間接カーネルによる理論的改善が実務的性能に反映されない。元のdo-検証がバイアスが低いために、より優れた性能を示す。
• 8つの交差検証型バンド幅と5つのプラグイン型バンド幅を組み合わせた中央値推定器は、do-検証とほぼ同等の性能を示すが、単純さと計算効率の点で劣る。
• プラグイン法は理論的には優位であるが、高いバイアスを有し、有限標本におけるあらゆる性能指標でdo-検証に劣る。
• ISEの90パーセンタイルを性能指標として用いる際、do-検証と中央値推定器はさらに顕著な優位性を示し、実応用における信頼性の高さを示唆する。
• 本研究は、バイアスの蓄積などの実装上の課題が、バンド幅選択法設計における理論的利点を上回ることが多いことを確認した。