[論文レビュー] Local intrinsic dimensionality estimators based on concentration of measure

Jonathan Bac, Andreï Zinovyev|arXiv (Cornell University)|Jan 31, 2020

Neural Networks and Applications参考文献 35被引用数 7

ひとこと要約

本稿では、高次元データにおける線形分離可能性および集中現象に基づく、2つの新しい局所的内在次元性（ID）推定器を提案する。データ点の均一な参照分布との分離可能性を比較することで、多様なデータセットにおいて安定的かつ正確なID推定を実現し、FisherSおよびESSは特に100点以上の近傍に対して優れた性能を示す。

ABSTRACT

Intrinsic dimensionality (ID) is one of the most fundamental characteristics of multi-dimensional data point clouds. Knowing ID is crucial to choose the appropriate machine learning approach as well as to understand its behavior and validate it. ID can be computed globally for the whole data point distribution, or computed locally in different regions of the data space. In this paper, we introduce new local estimators of ID based on linear separability of multi-dimensional data point clouds, which is one of the manifestations of concentration of measure. We empirically study the properties of these estimators and compare them with other recently introduced ID estimators exploiting various effects of measure concentration. Observed differences between estimators can be used to anticipate their behaviour in practical applications.

研究の動機と目的

• 高次元データにおける推定精度の向上を図るため、集中現象を利用した新しい局所的内在次元性（ID）推定器の開発を目的とする。
• 主成分分析（PCA）に基づく手法による過剰推定や、最尤推定（MLE）、TwoNNによる過小推定といった、従来のグローバルおよび局所的ID推定器の限界を解消することを目的とする。
• サブサンプリングおよび異なる近傍サイズの下での、局所的ID推定器の安定性、正確性、耐性を評価することを目的とする。
• 提案手法のFisherSおよびESSを含む、集中現象に基づく複数の推定器を、多様な合成および実世界のデータセット上で比較し、性能を評価することを目的とする。
• グローバルなポイントワイドなID推定（例：FisherS）が、局所的およびグローバルなデータ構造を捉えることができることを示し、補足的なインサイトを提供することを目的とする。

提案手法

• 点とそのk近傍点の線形分離可能性の確率に基づく局所的ID推定器を提案し、n次元球面上の均一な参照分布と比較する。
• 幾何学的複雑性の指標としてFisherの線形判別分離可能性を用い、高い分離可能性は低い内在次元性と相関する。
• 高次元球面上での均一サンプリング下での分離可能性の参照分布を導出し、実際のデータにおける観測された分離可能性を補正する。
• 経験的分離可能性と参照分布を統計的仮説検定で比較し、濃縮現象により高次元では分離可能性が低下することを仮定して局所的IDを推定する。
• 局所的近傍に限らず、全データセットからの分離可能性を評価するグローバルポイントワイドな拡張を実施する。
• サブサンプルサイズを変化させた合成（例：球体、超立方体、スイスロール）および実データセット（例：MNIST、ISOMAP Faces）を用いたベンチマークにより、安定性と正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 線形分離可能性および集中現象に基づく局所的ID推定器は、多様な合成および実世界のデータセットでどの程度の性能を示すか？
• RQ2 近傍サイズおよびサブサンプルサイズの変化が、これらの推定器の安定性および正確性に与える影響は何か？
• RQ3 提案手法（FisherSおよびESS）は、DANCo、TwoNN、TLEといった既存手法と比較して、一貫性および耐性の面で優れているか？
• RQ4 全データセットからの分離可能性に基づくグローバルポイントワイドなID推定は、局所的k-NN推定とは補足的なインサイトを提供できるか？
• RQ5 推定器の挙動の差異は、非自明なクラスタリングや多様体構造といった、データの背後にあるトポロジーをどの程度反映しているか？

主な発見

• Fisher分離可能性に基づく提案手法FisherSは、特に100点以上の近傍点に対して安定的かつ正確な局所的ID推定を実現する。
• FisherSとESSは、多数のデータセットで強い一致を示すが、高次元球内の均一分布ではESSが優れた性能を示し、ISOMAP Facesのような実データセットではFisherSがより正確な推定を達成する。
• TwoNNおよびTLEは、高次元環境下でIDを顕著に過小推定しており、特に均一にサンプリングされた分布やスイスロールのような複雑な多様体に対して顕著である。
• DANCoおよびTwoNNはスイスロールのグローバルID推定では良好な性能を示すが、その局所的推定はサブサンプルサイズに強く依存しており、小さなサンプルでは不安定であることが判明した。
• FisherSのグローバルポイントワイドな変種は、局所的およびグローバルなデータ構造を捉えており、純粋な局所的推定器よりもデータ幾何の包括的視覚を提供する。
• 本研究では、集中現象に基づく推定器（本稿で提案されたものも含む）が、3から数10の範囲のID推定に適しており、比較的小さなサンプルからでも有効であることが確認された。