[論文レビュー] A fully data-driven method for estimating density level sets

Rodríguez-Casal, A., Saavedra-Nieves, P.|arXiv (Cornell University)|Nov 27, 2014

Statistical Methods and Inference参考文献 39被引用数 3

ひとこと要約

本稿では、r-凸性の仮定の下で、形状パラメータrをデータから自己適応的に選択する完全にデータ駆動型のハイブリッド手法を提案する。カーネル密度推定とr-凸性制約、およびrの選択にための確率的アルゴリズムを組み合わせることで、罰則項やrの事前知識を必要とせず、最適な収束速度を達成する。これは、幾何的制約のある設定において、従来のプラグイン法や超過質量法を上回る性能を発揮する。

ABSTRACT

Density level sets can be estimated using plug-in methods, excess mass algorithms or a hybrid of the two previous methodologies. The plug-in algorithms are based on replacing the unknown density by some nonparametric estimator, usually the kernel. Thus, the bandwidth selection is a fundamental problem from an applied perspective. However, if some a priori information about the geometry of the level set is available, then excess mass algorithms could be useful. Hybrid methods such that granulometric smoothing algorithm assume a mild geometric restriction on the level set and it requires a pilot nonparametric estimator of the density. In this work, a new hybrid algorithm is proposed under the assumption that the level set is r-convex. The main problem in practice is that r is an unknown geometric characteristic of the set. A stochastic algorithm is proposed for selecting its optimal value. The resulting data-driven reconstruction of the level set is able to achieve the same convergence rates as the granulometric smoothing method. However, they do no depend on any penalty term because, although the value of the shape index r is a priori unknown, it is estimated in a data-driven way from the sample points. The practical performance of the estimator proposed is illustrated through a real data example.

研究の動機と目的

• 幾何的制約の下で、完全にデータ駆動型の密度レベルセット推定法を開発すること。
• ハイブリッドレベルセット推定における未知のr-凸性パラメータrの課題に対処すること。
• rを直接データから推定することで、罰則項や手動チューニングの必要性を排除すること。
• グランルメトリックスムージングと同等の最適な収束速度を達成しつつ、データ駆動型の適応性を維持すること。
• 幾何的構造を活用することで、クラスタリングや外れ値検出などの応用分野における実用的性能を向上させること。

提案手法

• 本手法は真のレベルセットがr-凸であると仮定し、データに適応するバンド幅選択を伴うカーネル密度推定を用いる。
• 未知のrパラメータを標本から推定するための確率的アルゴリズムを提案し、手動または罰則に基づく選択を回避する。
• 推定量は、カーネル密度推定量が閾値tを超える点の集合として構築され、r-凸性に制約を課す。
• 推定されたレベルセットにr-凸性を強制することで、プラグイン推定と超過質量原理を統合する。
• コンact集合上でのカーネル密度推定量の一様収束性と、閾値の微小な摂動に対する安定性を用いて理論的保証を導出する。
• 推定量の収束速度は、グランルメトリックスムージング法と同一であり、正則性条件の下でほとんど確実にO((log n / n)^{p/(d+2p)})となる。

実験結果

リサーチクエスチョン

• RQ1 r-凸性を仮定するが、rの事前知識や罰則項を必要とせず、完全にデータ駆動型の方法で密度レベルセットを推定できるか？
• RQ2 r-凸性パラメータrをデータから自己適応的に推定することで、最適な収束速度を達成できるか？
• RQ3 提案されたハイブリッド手法は、完全にデータ駆動型でありながら、グランルメトリックスムージングと同等の理論的収束速度を達成できるか？
• RQ4 有限標本におけるレベルセット推定のロバストネスと精度に、幾何的制約が及ぼす影響は何か？
• RQ5 白血病のクラスタリングのような実世界の応用において、本手法はプラグイン法や超過質量法と比較してどのように優れているか？

主な発見

• 正則性条件の下で、本手法はグランルメトリックスムージングと同等のほとんど確実な収束速度O((log n / n)^{p/(d+2p)})を達成する。
• r-凸性パラメータrは、確率的アルゴリズムを用いてデータから推定され、罰則項や手動選択の必要性がなくなる。
• レベルセットの幾何的形状に関する事前知識を必要とせず、最適な収束速度を維持する。
• 理論的結果により、カーネル密度推定量がレベルセットを含むコンパクト集合上で一様収束し、その速度は密度の滑らかさと次元に依存することが示された。
• 実データ（白血病のクラスタリング）を用いた実験結果から、標準的手法に比べて実用的優位性とロバストネスが示された。
• 提案された包含性の性質（命題6.3）により、小さな閾値摂動に対しても安定であり、信頼性の高い集合再構築が保証される。