[論文レビュー] Multi-scale Classification using Localized Spatial Depth

Subhajit Dutta, Anil K. Ghosh|arXiv (Cornell University)|Apr 15, 2015

Advanced Statistical Methods and Models参考文献 24被引用数 9

ひとこと要約

本稿では、高次元データにおける複雑で非楕円的かつ多モーダルなクラス分布を扱うために、局所化された空間的深さ（LSPD）に基づくマルチスケール分類器を提案する。複数の局所化スケールで推定された後方確率に一般化加法モデルを適合させ、それらを統合することで、次元数が標本サイズを上回る場合でも強力な分類性能を達成する。理論的整合性と実験的頑健性を備え、困難な設定下でも優れた性能を示す。

ABSTRACT

In this article, we develop and investigate a new classifier based on features extracted using spatial depth. Our construction is based on fitting a generalized additive model to the posterior probabilities of the different competing classes. To cope with possible multi-modal as well as non-elliptic population distributions, we develop a localized version of spatial depth and use that with varying degrees of localization to build the classifier. Final classification is done by aggregating several posterior probability estimates each of which is obtained using localized spatial depth with a fixed scale of localization. The proposed classifier can be conveniently used even when the dimension is larger than the sample size, and its good discriminatory power for such data has been established using theoretical as well as numerical results.

研究の動機と目的

• 従来の分類器（LDA、QDA、k-NN、KDE）が非楕円的かつ多モーダルなクラス分布を適切に扱えないという限界を解消すること。
• 特徴数が標本サイズを上回る高次元設定でも良好に機能する、頑健な非パラメトリック分類器を開発すること。
• 非パラメトリック手法における次元の呪いを克服するため、局所的なデータ幾何に適応する空間的深さの局所化版を導入すること。
• 高次元・小標本サイズ（HDLSS）漸近的設定下で理論的整合性と優れた性能を保証すること。
• パラメトリックな分布形態を仮定せず、複雑なクラス境界を捉えることが可能な柔軟でアフィン不変の分類フレームワークを提供すること。

提案手法

• 本手法は、カーネル関数 $ g $ を用いて定義される局所化された空間的深さ（LSPD）を用いる。ここで $ \text{LSPD}_h(\mathbf{x}, F) = \mathbb{E}_F[ h^d K_h(\mathbf{t}) ] - \| \mathbb{E}_F[ h^d K_h(\mathbf{t}) u(\mathbf{t}) ] \| $ であり、$ h $ は局所化スケールを制御する。
• 複数の固定された局所化スケール $ h $ で計算された LSPD 値に基づき、後方確率を推定し、それらの推定値に一般化加法モデルを適合させて、クラス固有の深さに基づく後方確率分布をモデル化する。
• 最終的な分類器は、複数の異なる局所化スケールからの後方確率推定値を重み付き平均化することで統合し、頑健性と識別性能を向上させる。
• 線形変換に対して不変性を確保するため、アフィン同値な散乱行列を用いてデータを標準化した後、本手法を適用する。
• HDLSS漸近的設定下で理論的整合性が確立され、深さに基づく推定値がクラス固有の極限ベクトル $ \mathbf{c}_j $ や $ \mathbf{c}_j' $ にほとんど確実に収束することが示された。
• 次元数 $ d $ が標本サイズ $ n $ を大きく超える状況でも、深さに基づく中心から外れの順序付けを活用することで、複雑で非楕円的なクラス構造を的確に捉えることが可能である。

実験結果

リサーチクエスチョン

• RQ1 空間的深さに基づく非パラメトリック分類器は、従来のパラメトリックおよび非パラメトリック手法が失敗する多モーダルで非楕円的なクラス分布に対しても効果的に対処できるか？
• RQ2 高次元・小標本サイズ（HDLSS）設定下で、局所化された空間的深さは分類性能をどのように向上させるか？
• RQ3 HDLSS条件下における局所化された空間的深さの漸近的挙動は何か？ また、それにより後方確率推定が整合的になるか？
• RQ4 複数スケールの深さに基づく後方確率推定値の統合は、単一スケールまたは標準的な非パラメトリック分類器を上回る性能を示せるか？
• RQ5 局所化された空間的深さ推定子が高次元で一様に強い整合性を達成する条件は何か？

主な発見

• 提案された分類器は、HDLSS漸近的設定下で一様に強い整合性を示し、深さに基づく推定値がクラス固有の極限ベクトル $ \mathbf{c}_j $ や $ \mathbf{c}_j' $ にほとんど確実に収束することが確認された。
• $ \sqrt{d}/h \to 0 $ のとき、$ \text{LSPD}_h(\mathbf{x}, F_j) $ の極限は $ 1 - \sqrt{1/2} $ に収束し、$ i \neq j $ の場合、$ 1 - \sqrt{ \frac{\sigma_j^2 + \nu_{ji}}{\sigma_j^2 + \sigma_i^2 + \nu_{ji}} } $ に収束する。これにより、適切な条件下でクラス分離性が保証される。
• $ \sqrt{d}/h \to A $ のとき、深さベクトル $ \mathbf{z}(\mathbf{x}) $ の極限はほとんど確実に $ \mathbf{c}_j' $ に収束し、$ \mathbf{c}_j' = \mathbf{c}_i' $ となるのは $ \sigma_j = \sigma_i $ かつ $ \nu_{ji} = \nu_{ij} = 0 $ の場合に限る。これにより、非球面的かつ重複のない構造下でもクラス分離性が保証される。
• $ \sqrt{d}/h \to \infty $ のとき、深さベクトルはゼロに収束する。これは、適切にスケーリングされない限り、深さに基づく推定値が退化することを示しており、多スケール統合の必要性を強調している。
• 本手法は、高次元においても k-NN や KDE といった標準的な非パラメトリック分類器を上回り、$ d \to \infty $ であっても誤分類率が低く保たれる。特に非楕円的かつ多モーダルな設定下で顕著な優位性を示す。
• 理論的結果により、深さの局所化が複雑な分布形態に対して頑健であるため、$ d \gg n $ の高次元データでも優れた識別力を維持できることを確認した。