[論文レビュー] Subspace Determination through Local Intrinsic Dimensional Decomposition: Theory and Experimentation

Ruben Becker, Imane Hafnaoui+3 more|arXiv (Cornell University)|Jul 15, 2019

Image and Object Detection Techniques参考文献 45被引用数 4

ひとこと要約

本稿では、軸方向への投影に沿った局所的内因性次元（LID）分解を用いて、高次元データにおけるローカルに関連する特徴を同定する新しい手法を提案する。各特徴ごとのLID推定値を用い、その加法的性質を活用することで、クラスタ形成を支援する軸に沿った部分空間を同定し、特に内因性次元がより高い合成多様体において、DiSHなどのベースライン手法よりも部分空間検出精度が優れている。

ABSTRACT

Axis-aligned subspace clustering generally entails searching through enormous numbers of subspaces (feature combinations) and evaluation of cluster quality within each subspace. In this paper, we tackle the problem of identifying subsets of features with the most significant contribution to the formation of the local neighborhood surrounding a given data point. For each point, the recently-proposed Local Intrinsic Dimension (LID) model is used in identifying the axis directions along which features have the greatest local discriminability, or equivalently, the fewest number of components of LID that capture the local complexity of the data. In this paper, we develop an estimator of LID along axis projections, and provide preliminary evidence that this LID decomposition can indicate axis-aligned data subspaces that support the formation of clusters.

研究の動機と目的

• 高次元データにおけるローカルに関連する特徴を同定する課題に取り組むこと。
• 局所的データの複雑さへの特徴ごとの寄与度を局所的内因性次元（LID）を用いて推定する手法を開発すること。
• クラスタリングの前段階として、部分空間同一定義のための初期的かつ独立したステップを提供し、クラスタごとまたは点ごとの特徴の関連性を評価可能にする。
• LID分解が真の部分空間を検出する際の有効性を、DiSHなどの既存手法と比較して評価すること。
• LID分解が部分空間クラスタリングおよび関連タスクのための新たな基本的構成要素としての可能性を検討すること。

提案手法

• 本稿では、各軸方向への投影に沿ったLID推定値の分解を可能にする推定器を導入し、投影によって生じるバイアスを補正する。
• 理論的に、理想的な条件下ではLID推定値が特徴間で加法的であるという性質を活用し、局所的近傍における主要な特徴を同定する。
• 二段階のクラスタリングパイプラインを提案する：第一段階ではLID分解により点が関連する部分空間に割り当てられ、第二段階でその部分空間内でDBSCANが適用される。
• 部分空間検出性能を評価するために、相対的非交差領域（RNIA）の修正版と、新しい指標である平均相対的関連度（ARR）を導入する。
• 真の多様体が既知の合成データセット（一様分布、ガウス分布、曲がった多様体を含む）を用い、さまざまな内因性次元で評価を行う。
• 理論的分析と実験的検証を併用し、実世界の設定におけるLID推定値の加法性と収束特性を評価する。

実験結果

リサーチクエスチョン

• RQ1 軸方向への投影に沿ったLID分解は、高次元空間における局所的データ構造の最も関連する特徴を効果的に同定できるか？
• RQ2 DiSHなどの既存手法と比較して、LIDに基づく部分空間検出の性能は、真の部分空間を同定する観点でどのように差がつくか？
• RQ3 さまざまなデータ分布において、LID推定値の加法性が実際の状況でもどの程度保持されるか？
• RQ4 LID分解は、特にクラスタ固有の特徴関連性が求められる状況において、部分空間クラスタリングのための実用的基盤として機能できるか？
• RQ5 真の部分空間が既知である状況で、部分空間検出を評価するにあたり、最も適切な指標は何か？

主な発見

• LID分解手法は、4つの合成データセットすべてにおいてDiSHを顕著に上回った。特に、平均多様体次元が最も高いD4において顕著な優位性を示した。
• D4では、LIDベースの手法がRNIAスコア0.85とARRスコア0.78を達成し、真の特徴と関連度の高い特徴を強く検出していることが示された。
• 本手法は、ハイパーキューブ、ガウス分布、およびモビウスの帯のようなねじれた多様体を含む、多様な多様体タイプにおいて部分空間検出に強く対応していた。
• 実験結果から、MLEによる分解LID推定値の和が全体のLID推定値に非常に近いことが示され、一様分布下では妥当な加法性が成立していることが示唆された。
• 提案された平均相対的関連度（ARR）指標は、真の特徴がすべて回復されていなくても、最も関連度の高い特徴の検出効率を効果的に捉えていた。
• 本研究は、LID分解がクラスタリング実行の前段階として、情報量の多い特徴サブセットを同定することで、部分空間クラスタリングを支援できる可能性を初期的だが明確な証拠として示している。