[논문 리뷰] High dimensionality: The latest challenge to data analysis

Ana M. Pires, João A. Branco|arXiv (Cornell University)|2019. 02. 12.

Gene expression and cancer classification참고 문헌 15인용 수 13

한 줄 요약

이 논문은 변수 수 $ p $ 가 관측 수 $ n $ 과 같아지거나 초과할 때 고차원 데이터 분석에서 기하학적 및 수학적 역설을 규명한다. 기존의 다변량 방법—특히 마할라노비스 거리와 공분산 구조에 의존하는 방법—가 수학적으로 무효화됨을 보여주며, $ p \geq n-1 $ 인 경우 모든 데이터 포인트가 투영상에서 등거리가 되어 표준 거리 기반 추론이 의미를 잃게 된다.

ABSTRACT

The advent of modern technology, permitting the measurement of thousands of characteristics simultaneously, has given rise to floods of data characterized by many large or even huge datasets. This new paradigm presents extraordinary challenges to data analysis and the question arises: how can conventional data analysis methods, devised for moderate or small datasets, cope with the complexities of modern data? The case of high dimensional data is particularly revealing of some of the drawbacks. We look at the case where the number of characteristics measured in an object is at least the number of observed objects and conclude that this configuration leads to geometrical and mathematical oddities and is an insurmountable barrier for the direct application of traditional methodologies. If scientists are going to ignore fundamental mathematical results arrived at in this paper and blindly use software to analyze data, the results of their analyses may not be trustful, and the findings of their experiments may never be validated. That is why new methods together with the wise use of traditional approaches are essential to progress safely through the present reality.

연구 동기 및 목표

• 고차원 데이터셋에서 $ p \geq n $ 인 경우 고전적 다변량 데이터 분석 방법을 적용할 때 발생하는 수학적 및 기하학적 결함을 드러내는 것.
• 고차원 공간에서 $ p \geq n-1 $ 인 경우, 모든 쌍의 마할라노비스 거리가 균일하게 유계이고 탈구조화됨을 보여주는 것.
• 이러한 고차원 데이터의 두 차원 투영이 원래 데이터 구조와 무관하게 어떤 $ n $개의 점 구성과도 임의로 유사하게 만들 수 있음을 증명하는 것.
• 연구자들이 고차원 데이터에 표준 소프트웨어 도구를 맹목적으로 적용할 경우 결과가 수학적으로 무효하고 검증 불가능해질 수 있음을 경고하는 것.
• 특히 $ p \geq n $ 인 경우 고차원 데이터의 내재 기하학을 존중하는 새로운 분석 프레임워크를 제안하는 것.

제안 방법

• 고차원 회귀에서 유의도와 영향력을 분석하기 위해 ힷ 행렬 $ H = X(X^TX)^{-1}X^T $ 를 사용하며, $ p \geq n-1 $ 일 때 $ H = I_n $ 임을 보여준다.
• 마할라노비스 거리 공식 $ d^2(x_i, x_j) = (x_i - x_j)^T S^{-1} (x_i - x_j) $ 를 적용하고 $ p \geq n-1 $ 조건 하에서의 범위를 유도한다.
• 이론적 범위 설정: $ d_{x_i, \bar{x}} \leq (n-1)n^{-1/2} $ 및 $ d_{x_i, x_j} \leq \{2(n-1)\}^{1/2} $ (모든 $ i \neq j $ 에 대해), 이는 거리의 탈구조화를 보여준다.
• 특이값 분해(SVD)를 통한 직교 투영을 활용하여 $ XQ = Y^* $ 가 되도록 변환 $ Q $ 를 구성하며, 여기서 $ Y^* $ 는 임의의 목표 2차원 구성 $ Y $ 의 애핀 변환이다.
• 표준화된 데이터 행렬 $ Z = X_c S^{-1/2} $ 을 사용하고 $ U = Z^T Y / (n-1) $ 를 구성하며, $ Y $ 가 표준화된 경우 $ U $ 가 정규직교 열을 가짐을 증명한다.
• 고차원 데이터에서 $ p < n-1 $ 일 경우 이러한 완벽한 유사성의 2차원 투영이 불가능하며, $ p = n-1 $ 에서 날카로운 전이가 발생함을 입증한다.

실험 결과

연구 질문

• RQ1 변수 수 $ p \geq n-1 $ 인 경우 마할라노비스 거리가 데이터 포인트 간에 어떻게 변화하며, 이는 고전적 다변량 추론에 어떤 영향을 미치는가?
• RQ2 고차원 데이터셋에서 $ p \geq n-1 $ 인 경우, 임의의 두 차원 구성 $ n $개의 점을 정확히 재현할 수 있는가?
• RQ3 왜 고차원 설정에서 $ p \geq n $ 인 경우 기존 데이터 분석 방법이 실패하는가? 이러한 실패의 수학적 원리는 무엇인가?
• RQ4 고차원에서 $ p \geq n-1 $ 일 때 ힷ 행렬 $ H $ 는 어떻게 행동하는가? 이는 회귀 분석에서 유의도와 영향력에 어떤 함의를 갖는가?
• RQ5 고차원 데이터에서 $ p \geq n $ 인 경우 유효한 분석을 보장하기 위해 어떤 제약 조건을 적용해야 하는가? 이러한 방법이 더 이상 적용 불가능한 시점을 어떻게 감지할 수 있는가?

주요 결과

• 변수 수 $ p \geq n-1 $ 일 때, 두 데이터 포인트 간의 마할라노비스 거리는 $ \{2(n-1)\}^{1/2} $ 이하로 유계지며, 이는 고차원 공간에서의 의미 있는 분리가 상실됨을 시사한다.
• 각 데이터 포인트에서 표본 평균까지의 거리는 $ (n-1)n^{-1/2} $ 이하로 유계이며, 이는 $ n $ 이 증가함에 따라 모든 점이 수축하는 구형 케이지 내에 존재함을 보여준다.
• $ p \geq n-1 $ 일 때 ힷ 행렬은 $ H = I_n $ 가 되며, 이는 모든 유의도 값 $ h_{ii} = 1 $ 이 되어 표준 영향력 진단이 무효화됨을 의미한다.
• 고차원 데이터셋에서 $ p \geq n-1 $ 인 경우, 어떤 원래 데이터 구조와도 관계없이 임의의 두 차원 구성 $ n $개의 점을 정확히 일치시킬 수 있는(애핀 변환을 제외한) 직교 투영이 존재한다.
• 이러한 완벽한 투영의 존재는 $ p \geq n-1 $ 인 고차원 데이터에 대해 2차원 시각화가 본질적으로 신뢰할 수 없음을 시사하며, 어떤 임의의 패턴을 모방할 수 있기 때문이다.
• $ p < n-1 $ 일 경우 이러한 완벽한 유사성의 2차원 투영이 불가능하며, 이는 $ p = n-1 $ 에서 날카로운 기하학적 전이가 발생함을 보여주며, 이는 데이터 분석 유효성의 임계 기준을 정의한다.