[논문 리뷰] Subspace Perspective on Canonical Correlation Analysis: Dimension Reduction and Minimax Rates

Zhuang Ma, Xiaodong Li|arXiv (Cornell University)|2016. 05. 12.

Face and Expression Recognition참고 문헌 37인용 수 4

한 줄 요약

이 논문은 표본 및 모집단의 공통변량 하위공간 간의 주각도를 기반으로 한 오차 척도를 제안함으로써, 정규화된 공선상분석(CCA)에 대한 새로운 하위공간적 시각을 제시한다. 비점근적 오차 경계를 수립하여 차원 수, 표본 크기, 조건수, 공선상관계 계수에 따라 적응적으로 변하는 결과를 도출하며, 특히 상관계수가 1에 가까울 때 핵심적인 역할을 하는 비점근적 수렴 속도 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/( \lambda_k - \lambda_{k+1})^2$ 를 처음으로 유도한다.

ABSTRACT

Canonical correlation analysis (CCA) is a fundamental statistical tool for exploring the correlation structure between two sets of random variables. In this paper, motivated by recent success of applying CCA to learn low dimensional representations of high dimensional objects, we propose to quantify the estimation loss of CCA by the excess prediction loss defined through a prediction-after-dimension-reduction framework. Such framework suggests viewing CCA estimation as estimating the subspaces spanned by the canonical variates. Interestedly, the proposed error metrics derived from the excess prediction loss turn out to be closely related to the principal angles between the subspaces spanned by the population and sample canonical variates respectively. We characterize the non-asymptotic minimax rates under the proposed metrics, especially the dependency of the minimax rates on the key quantities including the dimensions, the condition number of the covariance matrices, the canonical correlations and the eigen-gap, with minimal assumptions on the joint covariance matrix. To the best of our knowledge, this is the first finite sample result that captures the effect of the canonical correlations on the minimax rates.

연구 동기 및 목표

• 차원 감소를 목적으로 하는 주요 응용과 일치하는 손실 함수를 설계함으로써 CCA 추정에 대한 원칙적인 오차 척도 부족 문제를 해결한다.
• 표본 CCA에 대한 비점근적 리스크 경계를 도출하여 표본 크기, 차원 수, 조건수, 공선상관계수 계수 등의 주요 통계적 매개변수의 영향을 적응적으로 반영한다.
• 엄격하고 국소화된 매개변수 공간에서 제안된 상한 경계의 최적성(optimality)을 검증하기 위해 최소최대 하한 경계를 수립한다.
• 잔차 상관계수가 0이 되는 가정 없이도 첫 번째 항에서 $p_1$ 과 $p_2$ 를 분리할 수 있는 문제를 해결한다.
• 비점근적 CCA 분석에서 처음으로 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ 를 포함하는 비점근적 수렴 속도를 도출하며, 이는 완전한 상관계수 근처에서 CCA 성능을 이해하는 데 핵심적이다.

제안 방법

• 표본 및 모집단의 공통변량 하위공간 간 주각도를 기반으로 한 두 가지 새로운 오차 척도를 제안한다.
• 비점근적 난수행렬 이론과 스펙트럼 섭동 기법을 사용하여 이러한 척도 하에서 추정 리스크를 분석한다.
• 표본 크기와 차원 수 $p_1$, $p_2$ 의 기여도를 첫 번째 항에서 명시적으로 분리하는 균일한 상한 경계를 도출하며, 잔차 상관계수가 0이 되는 가정 없이 진행한다.
• 공선상관계수의 구조를 정교하게 분석하여 비점근적 CCA에서 처음으로 수렴 속도 항 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ 를 도출한다.
• 국소화된 매개변수 공간을 구성하고 최소최대 하한 경계를 도출하여 상한 경계의 최적성(optimality)을 입증한다.
• 행렬 섭동 이론과 트레이스 부등식을 활용하여 모집단과 표본 공분산 구조 간의 산란을 제한하며, 특히 하위공간 차이의 프로베니우스 노름에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 차원 감소를 목적으로 할 때, 모집단 CCA와 표본 CCA 간의 차이를 측정하기 위한 적절한 오차 척도는 무엇인가?
• RQ2 CCA의 비점근적 추정 리스크는 표본 크기, 차원 수 $p_1$ 과 $p_2$, 공분산 행렬의 조건수, 공선상관계수 계수에 어떻게 의존하는가?
• RQ3 잔차 상관계수가 0이 되는 가정 없이도 CCA 추정의 첫 번째 오차 항에서 $p_1$ 과 $p_2$ 의 기여를 분리할 수 있는가?
• RQ4 주요 공선상관계수가 1에 가까울 때, 표본 CCA의 정확한 비점근적 수렴 속도는 무엇인가?
• RQ5 국소화된 매개변수 공간에서 제안된 추정 리스크 상한 경계는 최소최대 최적인가?

주요 결과

• 이 논문은 잔차 상관계수가 0이 되는 가정 없이도 첫 번째 항에서 $p_1$ 과 $p_2$ 를 분리하는 비점근적 상한 경계를 처음으로 도출한다.
• 공선상관계수가 1에 가까워질 때 CCA 성능을 이해하는 데 핵심적인 역할을 하는 수렴 속도 항 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ 를 비점근적 분석에서 처음으로 명시적으로 도출하며, 이는 중요하다.
• 주각도를 기반으로 한 제안된 오차 척도는 표본 크기, 차원 수, 조건수, 공선상관계수 계수 등 모든 핵심 매개변수의 영향을 적응적으로 반영하는 비점근적 리스크 경계를 제공한다.
• 엄격하고 국소화된 매개변수 공간에서 하한 경계 분석을 통해 상한 경계의 최소최대 최적성(optimality)이 입증되어 이론적 결과의 날카로움을 확인한다.
• 공분산 행렬의 프로베니우스 노름을 통해 모집단과 표본 하위공간 투영 간의 차이를 제한하며, 이는 하위공간 추정 오차를 정밀하게 특성화할 수 있게 한다.
• 분석 결과, 공선상관계수 계수가 1에 가까워질 경우, 연속된 공선상관계수 계수 간 격차에 따라 추정 오차가 가장 민감하게 반응하며, 이는 $(1 - \lambda_k^2)/( \lambda_k - \lambda_{k+1})^2$ 요소의 폭발적 증가 때문임을 드러낸다.