[論文レビュー] High dimensionality: The latest challenge to data analysis

Ana M. Pires, João A. Branco|arXiv (Cornell University)|Feb 12, 2019

Gene expression and cancer classification参考文献 15被引用数 13

ひとこと要約

本論文は、変数の数 $ p $ が観測数 $ n $ に近づく、またはそれを超える場合に高次元データ解析において根本的な幾何学的・数学的パラドックスが生じることを特定し、特にマハラノビス距離と共分散構造に依存する従来の多変量手法が数学的に無効になることを示している。$ p \geq n-1 $ の設定では、すべてのデータポイントが射影上で等距離になることが証明されており、これにより標準的な距離に基づく推論は意味を失う。

ABSTRACT

The advent of modern technology, permitting the measurement of thousands of characteristics simultaneously, has given rise to floods of data characterized by many large or even huge datasets. This new paradigm presents extraordinary challenges to data analysis and the question arises: how can conventional data analysis methods, devised for moderate or small datasets, cope with the complexities of modern data? The case of high dimensional data is particularly revealing of some of the drawbacks. We look at the case where the number of characteristics measured in an object is at least the number of observed objects and conclude that this configuration leads to geometrical and mathematical oddities and is an insurmountable barrier for the direct application of traditional methodologies. If scientists are going to ignore fundamental mathematical results arrived at in this paper and blindly use software to analyze data, the results of their analyses may not be trustful, and the findings of their experiments may never be validated. That is why new methods together with the wise use of traditional approaches are essential to progress safely through the present reality.

研究の動機と目的

• 高次元データセットにおいて $ p \geq n $ の場合に古典的多変量データ解析手法を適用する際の数学的・幾何学的欠陥を暴露すること。
• 高次元空間において $ p \geq n-1 $ の場合、すべてのデータポイント間のペアワイズマハラノビス距離が一様に有界かつ退化することを示すこと。
• このような高次元データの任意の2次元射影を、元のデータ構造にかかわらず、任意の他の $ n $ ポイント構成と任意に類似させられることを証明すること。
• 研究者が高次元データに対して標準的なソフトウェアツールを盲目的に適用するのを警告すること。その結果は数学的に無効であり、検証不能である可能性がある。
• 特に $ p \geq n $ の場合に、高次元データの内在的幾何学を尊重する新たな分析フレームワークの提唱すること。

提案手法

• 高次元回帰における leverage と影響力の分析にヘット行列 $ H = X(X^TX)^{-1}X^T $ を用い、$ p \geq n-1 $ の場合に $ H = I_n $ となることを示している。
• マハラノビス距離の公式 $ d^2(x_i, x_j) = (x_i - x_j)^T S^{-1} (x_i - x_j) $ を適用し、$ p \geq n-1 $ の制約下での境界を導出している。
• 理論的境界を確立：すべての $ i \neq j $ に対して $ d_{x_i, \bar{x}} \leq (n-1)n^{-1/2} $ および $ d_{x_i, x_j} \leq \{2(n-1)\}^{1/2} $ であり、距離の退化を示している。
• 特異値分解（SVD）を用いた直交射影により、$ XQ = Y^* $ となる変換 $ Q $ を構築している。ここで $ Y^* $ は任意のターゲット2次元配置 $ Y $ のアフィン変換である。
• 標準化されたデータ行列 $ Z = X_c S^{-1/2} $ を用い、$ U = Z^T Y / (n-1) $ を構築し、$ Y $ が標準化されているとき $ U $ が正規直交列を持つことを証明している。
• $ p < n-1 $ の場合、2次元射影におけるこのような完全な類似性は不可能であり、$ p = n-1 $ で明確な転換が生じることを示している。

実験結果

リサーチクエスチョン

• RQ1 マハラノビス距離が $ p \geq n-1 $ の場合にデータポイント間でどのように変化するか、そして古典的多変量推論にどのような影響を与えるか。
• RQ2 高次元データセット（$ p \geq n-1 $）の射影として、任意の $ n $ ポイントの2次元配置を正確に再現できるか。
• RQ3 なぜ従来のデータ解析手法は $ p \geq n $ の高次元設定で失敗するのか。その背後にある数学的原理は何か。
• RQ4 $ p \geq n-1 $ の場合、ヘット行列 $ H $ はどのように振る舞い、回帰における leverage と影響力にどのような意味を持つのか。
• RQ5 $ p \geq n $ の場合に有効性を保証するためのデータ解析に課すべき制約は何か。また、このような手法がもう適用不能であることをどう検出できるか。

主な発見

• $ p \geq n-1 $ の場合、任意の2つのデータポイント間のマハラノビス距離は $ \{2(n-1)\}^{1/2} $ で上界に制限され、高次元空間における意味のある分離の喪失を示している。
• 各データポイントから標本平均までの距離は $ (n-1)n^{-1/2} $ で上界に制限され、$ n $ が増加するにつれてすべての点が収縮する球殻内に存在することを示している。
• $ p \geq n-1 $ の場合、ヘット行列は $ H = I_n $ に変化し、すべての leverage 値 $ h_{ii} = 1 $ となるため、標準的な影響力診断が無効になる。
• $ p \geq n-1 $ の場合、任意の2次元配置の $ n $ ポイントは、元のデータ構造にかかわらず、高次元データの直交射影によって正確に一致（アフィン変換の範囲で）させられることを示している。
• このような完全な射影の存在は、$ p \geq n-1 $ の場合に2次元可視化が本質的に信頼できないことを示しており、任意の任意のパターンを模倣できるからである。
• $ p < n-1 $ の場合、2次元射影におけるこのような完全な類似性は不可能であり、$ p = n-1 $ で明確な幾何的転換が生じることを示しており、これはデータ解析の有効性の臨界閾値を定義している。