[論文レビュー] DANCo: Dimensionality from Angle and Norm Concentration

Claudio Ceruti, Simone Bassis+4 more|arXiv (Cornell University)|Jun 18, 2012

Neural Networks and Applications参考文献 40被引用数 13

ひとこと要約

本稿では、高次元データにおける角度と正規化された最近傍距離の共同集中を活用する、新しい内因的次元数推定手法DANCoを提案する。von Mises分布および一般化ガンマ分布を用いてこれらの幾何的特徴の分布をモデル化し、閉形式でKullback-Leibler発散を計算することで、特に内因的次元数が高く非線形に埋め込まれた多様体において、最先端の手法を上回る優れたロバスト性と精度を達成する。実データでは平均百分誤差（MPE）が9.47%であり、kとNの変動に対しても完全な安定性を示した。

ABSTRACT

In the last decades the estimation of the intrinsic dimensionality of a dataset has gained considerable importance. Despite the great deal of research work devoted to this task, most of the proposed solutions prove to be unreliable when the intrinsic dimensionality of the input dataset is high and the manifold where the points lie is nonlinearly embedded in a higher dimensional space. In this paper we propose a novel robust intrinsic dimensionality estimator that exploits the twofold complementary information conveyed both by the normalized nearest neighbor distances and by the angles computed on couples of neighboring points, providing also closed-forms for the Kullback-Leibler divergences of the respective distributions. Experiments performed on both synthetic and real datasets highlight the robustness and the effectiveness of the proposed algorithm when compared to state of the art methodologies.

研究の動機と目的

• 既存の推定手法が高次元で非線形に埋め込まれたデータにおいて内因的次元数を常に低く推定するという問題を解消すること。
• 内因的次元数推定におけるノイズ、次元の呪い、端効果に対するロバスト性を向上させること。
• 近隣点間の角度と正規化された距離といった幾何的特徴を効果的に統合することで、より正確で安定した推定を実現する手法を開発すること。
• 理論的裏付けのある推定手法を提供し、合成参照分布との比較に効率的な閉形式のKullback-Leibler発散式を備えること。
• 多様な合成データおよび実世界のデータにおいて、最先端の手法を上回ることを目的とし、特に高次元およびノイズが多い状況でも優れた性能を発揮すること。

提案手法

• DANCoは、正規化された最近傍距離の分布を一般化ガンマ分布でモデル化し、近隣点間の角度の分布をvon Mises分布でモデル化する。
• 実データにおけるこれらの特徴の経験的分布と、内因的次元が既知の合成データセットから導出された理論的分布との間のKullback-Leibler発散を計算する。
• KL発散には閉形式の式を用いることで、異なる次元数の仮説に対して効率的かつ安定した比較が可能になる。
• 各候補次元数dについて、観測された幾何的特徴とdの下で期待される分布とのKL発散を推定し、その発散が最小となるdを選択する。
• アルゴリズムは、k（近傍点数）やデータサイズNの変動に対してもロバストであることが示されており、kとNの変化にかかわらず一貫した性能を発揮する。
• 角度情報とノルム情報の両方を統合することで、一方の特徴に過度に依存することを回避し、直交性や端効果といった問題を軽減する。

実験結果

リサーチクエスチョン

• RQ1 角度とノルムの集中を共同でモデル化することで、高次元で非線形に埋め込まれた多様体における内因的次元数推定が向上するか？
• RQ2 本手法は、内因的次元数が高い（d ≥ 10）データセットにおいて、最先端の推定手法と比較してどのように性能を発揮するか？
• RQ3 PCAベースおよび幾何的手法と比較して、DANCoは内因的次元数推定における低く推定するバイアスをどの程度低減するか？
• RQ4 DANCoは、近傍点数kやデータサイズNの変化に対してどの程度ロバストか？
• RQ5 von Mises分布および一般化ガンマ分布に対する閉形式のKL発散式は、正確で効率的な次元数推定を可能にするか？

主な発見

• 合成データセットでは、DANCoは全テスト多様体で最小の平均百分誤差（MPE）13.32%を達成し、他のすべての推定手法を上回った。
• 実世界のデータセットでは、DANCoが全体で最高の性能を示し、MPEは9.47%であった。これはBPCA（62.92%）、SPPCA（79.37%）、MLE（18.17%）を著しく上回った。
• ノイズの多いIsoletデータセット（真のd ≈ 16–22）において、DANCoはd = 19.00を推定し、全手法の中で最高の結果に非常に近い値を達成した。
• Santa Feデータセット（真のd = 9）では、DANCoはd = 8.19を推定し、MLE（7.16）やIDEA（7.26）を著しく上回り、補正付きのMiND_KL手法即しも上回った。
• DANCoは、すべてのテスト設定で完全なロバスト性を示した：N ∈ {200, 500, 1000, 2000}およびk ∈ {5..100}の範囲で、R^5における標準正規分布データの真の次元数5を一貫して正しく推定した。
• 閉形式のKL発散計算により、反復的最適化やパrameterチューニングを必要とせず、安定的かつ効率的な推定が可能になった。