[논문 리뷰] The curse of isotropy: from principal components to principal subspaces

Tom Szwagier, Xavier Pennec|arXiv (Cornell University)|2023. 07. 28.

Spectroscopy and Chemometric AnalysesChemistry인용 수 3

한 줄 요약

이 논문은 반복되는 고유값을 갖는 공분산 행렬을 플래그 다양체를 사용하여 모델링하는, 확률적 주성분 분석(PPCA)의 일반화인 계층적 주성분 분석(SPAA)을 소개한다. 이는 모델 복잡도와 적합도의 근거 있는 트레이드오프를 가능하게 한다. 또한 인접한 고유값 간 격차가 21% 이하일 경우, 이를 구분하기 위해 1000개 이상의 표본이 필요하다는 것을 보여주며, 이는 소규모 데이터 환경에서 블록 평균화가 더 나은 선택임을 시사한다.

ABSTRACT

Principal component analysis is a ubiquitous tool in exploratory data analysis. It is widely used by applied scientists for visualization and interpretability purposes. We raise an important issue (the curse of isotropy) about the interpretation of principal components with close eigenvalues. They may indeed suffer from an important rotational variability, which is a pitfall for interpretation. Through the lens of a probabilistic covariance model parameterized with flags of subspaces, we show that the curse of isotropy cannot be overlooked in practice. In this context, we propose to transition from ill-defined principal components to more-interpretable principal subspaces. The final methodology (principal subspace analysis) is extremely simple and shows promising results on a variety of datasets from different fields.

연구 동기 및 목표

• 고유값이 가까울 경우, 특히 소표본 환경에서 주성분 분석(PCA)에서 고유벡터의 실용적 식별성 문제를 다루는 것.
• 신호 공간에서의 반복 고유값을 允허함으로써 확률적 주성분 분석(PPCA)을 확장하여 모델의 단순성(파라미터 수를 줄임)을 향상시키는 것.
• 고유값 중복도를 갖는 공분산 모델의 매개변수화를 통합하는 기하학적 프레임워크를 제공하기 위해 플래그 다양체를 사용하는 것.
• 고유값 중복도의 계층적 구조를 활용하여 SPCA 모델의 효율적이고 일致한 모델 선택 히우리스틱을 개발하는 것.
• 이웃하는 고유값을 작은 격차로 그룹화하는 것이 표준 PPCA에 비해 복잡도/적합도 트레이드오프를 개선함을 경험적으로 검증하는 것.

제안 방법

• 고유값이 동일한 값으로 그룹화된 블록을 갖는 공분산 모델의 가족—SPCA—를 제안하며, 이는 플래그 다양체로 매개변수화된다.
• 표본 공분산 행렬의 고유값 분해를 통해 명시적인 최대우도추정량을 유도하고, 이어서 인접한 고유값을 블록 평균화하는 방식으로 추정한다.
• 정수의 분할을 통한 고유값 중복도의 계층화를 이용해 SPCA 모델 간의 부분 순서를 정의함으로써 계층적 모델 선택을 가능하게 한다.
• 베이지안 정보 기준(BIC)을 사용하여 모델를 비교하며, 플래그 다양체 기하학으로부터 유도된 자유 매개변수 수를 반영한 페널티 항을 포함한다.
• 먼저 동일한 중복도 블록 내의 고유값을 병합하고, 그 다음으로 점차 증가하는 격차 크기로 블록을 병합하는 계층적 클러스터링 히우리스틱을 개발한다.
• 계층적 클러스터링과 최대우도 선택의 점근적 일致성을 증명하며, 표본 크기가 증가함에 따라 진짜 모델이 회복됨을 보여준다.

Figure 1 : SPCA generative model ( 6 ), assuming that the observed data was first sampled from a sequence of independent lower dimensional normal latent variables, then linearly mapped to mutually orthogonal subspaces and finally shifted and added an isotropic Gaussian noise. The resulting density i

실험 결과

연구 질문

• RQ1 어떤 조건에서 두 인접한 표본 고유값을 통계적으로 구별할 수 있으며, 이를 위해 최소 몇 개의 표본이 필요한가?
• RQ2 소표본 환경에서 작은 격차를 갖는 인접한 고유값을 그룹화하는 것이 표준 PPCA에 비해 복잡도/적합도 트레이드오프를 향상시키는가?
• RQ3 플래그 다양체를 기반으로 한 통합 기하학적 프레임워크가 반복 고유값을 갖는 공분산 모델의 근거 있는 매개변수화를 제공할 수 있는가?
• RQ4 지수적으로 증가하는 SPCA 모델의 가족에 대해 효율적이고 일치하는 모델 선택 절차가 존재하는가?
• RQ5 SPCA 모델의 자유 매개변수 수는 고유값 중복도 구조에 따라 어떻게 달라지는가?

주요 결과

• 상대적 격차가 21% 이하인 두 인접한 고유값은 BIC를 사용할 경우 최소 1000개의 표본이 필요로 하여 신뢰성 있게 구별할 수 있다.
• 인접한 고유값 간 격차가 21% 이하일 경우, 이중 고유공간이 2차원인 동일한 고유값을 갖는 모델이 BIC 기준으로 더 최적임을 보여준다.
• 합성 및 실제 데이터셋 모두에서 SPCA 모델은 표준 PPCA에 비해 더 나은 복잡도/적합도 트레이드오프를 달성하며, 특히 소표본 환경에서 뚜렷한 성능 향상을 보인다.
• 모델 선택을 위한 계층적 클러스터링 히우리스틱은 점근적으로 일치하며, 표본 크기가 증가함에 따라 진짜 모델 유형을 정확히 회복한다.
• SPCA의 최대우도 추정량은 고유값 분해와 블록 평균화를 통해 명시적으로 계산 가능하며, 자유 매개변수 수는 플래그 다양체의 구조에 의해 결정된다.
• 플래그 다양체를 통한 기하학적 해석은 PPCA와 등방성 PPCA(IPPCA)를 일반화하는 통합 프레임워크를 제공하며, 중복도의 계층화로부터 명확한 매개변수 수를 도출할 수 있다.

Figure 2 : Plot of the inverse threshold function $\delta^{-1}$ of Proposition 3 , corresponding to the minimal number of samples needed to distinguish two adjacent eigenvalues separated by a given relative eigengap.