[논문 리뷰] Multi-set Canonical Correlation Analysis simply explained

Lucas C. Parra|ArXiv.org|2018. 02. 11.

Sensory Analysis and Statistical MethodsAgricultural and Biological Sciences참고 문헌 12인용 수 17

한 줄 요약

이 논문은 다중집합 코herence 분석(MCCA)의 간단하고 한 번의 단계로 이루어진 해법을 제시한다. 이는 연결된 데이터의 공분산 행렬 $\mathbf{R}$ 와 그 블록 대각형 행렬 $\mathbf{D}$ 의 역행렬을 곱한 행렬 $\mathbf{D}^{-1}\mathbf{R}$ 의 고유벡터를 계산하여 얻는다. 이 방법은 추가적인 제약 조건 없이 집합 간 상관관계(ISC)를 최대화하며, PCA 화이트닝을 거친 후 연결된 데이터에 대해 PCA를 수행하는 두 단계 절차와 동치이다.

ABSTRACT

There are a multitude of methods to perform multi-set correlated component analysis (MCCA), including some that require iterative solutions. The methods differ on the criterion they optimize and the constraints placed on the solutions. This note focuses perhaps on the simplest version, which can be solved in a single step as the eigenvectors of matrix ${\bf D}^{-1} {\bf R}$. Here ${\bf R}$ is the covariance matrix of the concatenated data, and ${\bf D}$ is its block-diagonal. This note shows that this solution maximizes inter-set correlation (ISC) without further constraints. It also relates the solution to a two step procedure, which first whitens each dataset using PCA, and then performs an additional PCA on the concatenated and whitened data. Both these solutions are known, although a clear derivation and simple implementation are hard to find. This short note aims to remedy this.

연구 동기 및 목표

• 집합 간 상관관계(ISC)를 최대화하는 간단한 다중집합 CCA(MCCA) 방법에 대한 명확하고 간결한 유도를 제공하는 것.
• MCCA의 해법이 반복 최적화 없이 $\mathbf{D}^{-1}\mathbf{R}$ 의 고유벡터로 단일 단계로 얻어질 수 있음을 보여주는 것.
• 단일 단계 고유벡터 해법과 각 데이터 세트에 대해 PCA 화이트닝을 수행한 후 연결된 화이트닝된 데이터에 대해 PCA를 수행하는 두 단계 절차 사이의 동치성을 명확히 하는 것.
• 복잡한 이전 수식화에도 불구하고 접근 가능하도록 간단한 구현을 제공하는 것.

제안 방법

• 이 방법은 집합 간 공분산과 집합 내 공분산의 비율을 최대화하는 방식으로 MCCA를 설정하며, 집합 간 상관관계(ISC)를 $\rho = \frac{1}{N-1} \frac{r_B}{r_W}$ 로 정의한다.
• 각 투영 벡터 $\mathbf{v}^l$ 에 대한 $\rho$ 의 도함수를 0으로 설정함으로써 최적화 문제를 유도하며, 이는 일반화된 고유값 방정식 $\mathbf{R}\mathbf{v} = \mathbf{D}\mathbf{v}\lambda$ 로 이어진다.
• 해법은 $\mathbf{D}^{-1}\mathbf{R}$ 의 고유벡터로 얻어지며, 가장 큰 고유값은 최대 ISC에 해당한다.
• 이 방법이 먼저 각 데이터 세트에 대해 PCA를 수행해 화이트닝한 후 연결된 화이트닝된 데이터에 대해 PCA를 수행하는 두 단계 절차와 동치임을 보여준다.
• 변환 행렬 $\mathbf{V}$ 는 $\mathbf{V} = \mathbf{U}\mathbf{\Lambda}^{-1/2}\tilde{\mathbf{V}}$ 로 계산되며, 여기서 $\mathbf{U}$ 와 $\mathbf{\Lambda}$ 는 첫 번째 PCA에서 유도되고 $\tilde{\mathbf{V}}$ 는 두 번째에서 유도된다.
• 표준 고유분해를 사용하여 해법을 계산하는 MATLAB 구현 예제가 제공되며, 가장 큰 고유값이 가장 높은 ISC를 나타낸다.

실험 결과

연구 질문

• RQ1 다중집합 코herence 분석(MCCA)은 명확한 수학적 유도를 통해 어떻게 단일 반복 없이 한 번의 단계로 해결될 수 있는가?
• RQ2 행렬 $\mathbf{D}^{-1}\mathbf{R}$ 의 단일 단계 고유벡터 해법과 각 데이터 세트를 화이트닝한 후 연결된 데이터에 대해 PCA를 수행하는 두 단계 절차 사이의 관계는 무엇인가?
• RQ3 단일 단계 해법은 성분 간 상관관계가 없도록 자연스럽게 강제하는가? 만약 그렇다면, 그 방식은 무엇인가?
• RQ4 이 방법은 단순성, 해석 가능성, 계산 효율성 측면에서 다른 MCCA 수식화와 비교해 어떻게 다를까?
• RQ5 이 방법은 고차원, 저표본 수 환경에서도 효율적이고 안정적으로 구현될 수 있는가?

주요 결과

• MCCA의 단일 단계 해법은 전체 공분산 행렬 $\mathbf{R}$ 과 그 블록 대각형 행렬 $\mathbf{D}$ 에 대해 $\mathbf{D}^{-1}\mathbf{R}$ 의 고유벡터로 주어지며, 이는 집합 간 상관관계(ISC)를 최대화한다.
• 고유벡터가 $\mathbf{D}$ 를 대각화하므로, 이 해법은 이전 성분들과의 상관관계가 없도록 자동으로 보장한다. 이는 표준 직교성 제약 조건을 만족한다.
• 이 방법은 첫 번째로 각 데이터 세트에 대해 PCA를 수행해 화이트닝한 후 연결된 화이트닝된 데이터에 대해 PCA를 수행하는 두 단계 절차와 수학적으로 동치이다.
• $\mathbf{D}^{-1}\mathbf{R}$ 의 가장 큰 고유값 $\lambda$ 는 $\rho = \frac{\lambda - 1}{N - 1}$ 을 통해 최대 ISC에 해당하며, 이때 $\rho \leq 1$ 이다.
• 이 방법은 $N = 2$ 일 때 표준 CCA로 축소되며, 이 경우 $\rho$ 는 피어슨 상관계수와 일치한다.
• 표준 고유분해를 사용하여 해법을 계산하는 직접적인 MATLAB 구현 예제가 제공되며, 마지막 고유벡터가 최대 ISC에 해당한다.