[논문 리뷰] Canonical correlation analysis of high-dimensional data with very small sample support

Yang Song, Peter J. Schreier외 2명|arXiv (Cornell University)|2016. 04. 07.

Blind Source Separation Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 고차원, 소표본 환경에서 캐노니컬 상관계수 분석(CCA)에 대한 공동 모델 차수 선택 방법을 제안한다. 감소된 랭크 바틀렛-로우리 테스트와 최소 기술 길이(MDL) 기준을 통합하여, 표본 수가 데이터 차원보다 훨씬 적은 상황에서도 진정된 상관 신호의 수와 주성분 분석(PCA)의 치수를 정확하게 추정할 수 있도록 한다. 이는 색 잡음 환경에서도 수시로 사용되는 경험적 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper is concerned with the analysis of correlation between two high-dimensional data sets when there are only few correlated signal components but the number of samples is very small, possibly much smaller than the dimensions of the data. In such a scenario, a principal component analysis (PCA) rank-reduction preprocessing step is commonly performed before applying canonical correlation analysis (CCA). We present simple, yet very effective approaches to the joint model-order selection of the number of dimensions that should be retained through the PCA step and the number of correlated signals. These approaches are based on reduced-rank versions of the Bartlett-Lawley hypothesis test and the minimum description length information-theoretic criterion. Simulation results show that the techniques perform well for very small sample sizes even in colored noise.

연구 동기 및 목표

• 표본 수가 데이터 차원에 비해 매우 적을 때 신뢰할 수 있는 캐노니컬 상관계수 분석(CCA)을 수행하는 데 도전하는 것.
• 주성분 분석(PCA)의 최적 랭크와 상관 신호 수를 체계적이고 데이터 기반의 방식으로 선택하는 데 중요한 문제를 해결하는 것.
• 전통적인 CCA가 과대추정된 캐노니컬 상관계수로 인해 실패하는 상황에서, 색 잡음과 극도로 부족한 표본이 존재하는 조건에서도 효과적인 방법을 개발하는 것.
• 경험 기반 또는 수시적인 선택 방식에 대한 체계적인 대안을 제공하는 것.

제안 방법

• PCA 전처리 후 캐노니컬 상관계수의 유의성을 평가하기 위해 감소된 랭크의 바틀렛-로우리 최대우도 비율 검정을 적용한다.
• 모델 적합도와 복잡도의 균형을 맞추기 위해 최소 기술 길이(MDL) 정보이론 기준을 사용하여 PCA 랭크와 상관 신호 수를 선택한다.
• 모델 적합도와 차원 감소의 상호 간 균형을 평가함으로써, 상관 신호 수 $d$와 PCA 치수 $r_x$, $r_y$를 동시에 추정한다.
• 진정된 상관 신호 수 $d$는 데이터 차원 $m$과 $n$이 크더라도 일반적으로 작다는 사실을 활용한다.
• 작은 표본에서 추정된 표본 공분산 행렬을 사용한 후, CCA 이전에 PCA 기반 차원 감소를 수행하여 임의의 상관관계를 방지한다.
• 고유값의 교차와 웨일의 부등식을 통한 이론적 근거를 제시하여, 캐노니컬 상관계수 추정치가 PCA 랭크가 증가함에 따라 증가함을 보이며, 이는 신중한 모델 차수 선택이 필요함을 시사한다.

실험 결과

연구 질문

• RQ1 표본 수 $M$이 매우 적고 데이터 차원의 합 $m+n$보다 훨씬 작은 고차원 CCA에서 최적의 PCA 랭크 $r_x$와 $r_y$ 및 상관 신호 수 $d$를 공동으로 선택하는 방법은 무엇인가?
• RQ2 표본 수 $M \ll m+n$ 인 조건에서 표본 상관계수가 심각하게 편향될 경우, 진정된 캐노니컬 상관계수를 신뢰성 있게 탐지할 수 있는 통계 기준은 무엇인가?
• RQ3 색 잡음 조건 하에서 감소된 랭크 바틀렛-로우리 테스트와 MDL 기준의 성능을 비교하면 어떻게 되는가?
• RQ4 극도로 표본이 부족한 상황에서 이들 방법이 힌트 기반 또는 경험 기반 선택 방식을 능가할 수 있는가?
• RQ5 표본 캐노니컬 상관계수 추정치가 PCA 랭크와 함께 단조적으로 증가하는 이론적 기반은 무엇이며, 이는 모델 선택에 어떻게 영향을 미치는가?

주요 결과

• 제안된 공동 모델 차수 선택 방법은 고차원 소표본 환경에서 캐노니컬 상관계수 추정 정확도를 크게 향상시킨다.
• 감소된 랭크 바틀렛-로우리 검정과 MDL 기준 모두 표본 수 $M$이 데이터 차원의 합 $m+n$보다 훨씬 작을 때도 강건하게 작동한다.
• 시뮬레이션 결과, 색 잡음이 존재하는 상황에서도 각도 간격 $\delta = 4^\circ$부터 고정밀도로 상관 신호를 탐지할 수 있음을 입증하였다.
• SEV+X 방법에 비해 제안된 방법 기반 탐지기는 색 잡음 조건에서 성능이 뛰어나며, 각도 간격에 관계없이 SEV+X는 완전히 실패한다.
• 표본 수 $M < m+n$ 인 조건에서 발생하는 캐노니컬 상관계수 과대추정 문제를 효과적으로 완화한다. 이 경우 최대 $m+n-M$개의 표본 상관계수가 1로 잘못 추정된다.
• 이론적 분석을 통해 표본 캐노니컬 상관계수 추정치가 PCA 랭크가 증가함에 따라 단조적으로 증가함을 확인하였으며, 이는 과적합을 방지하기 위해 체계적인 모델 차수 선택이 필수적임을 정당화한다.