[논문 리뷰] Stochastic Canonical Correlation Analysis

Chao Gao, Dan Garber외 3명|arXiv (Cornell University)|2019. 01. 01.

Random Matrices and Applications인용 수 13

한 줄 요약

이 논문은 확률적 캐논리컬 상관 분석(cca)의 표본 복잡도를 규명하여, 스트리밍 버전을 포함한 스트로크-인버트 힘의 방법을 사용할 때 $\mathcal{O}(\log \frac{1}{\epsilon})$회의 데이터 통과로 $\epsilon$-정확도의 캐논리컬 방향 추정을 달성하는 데 충분함을 보여준다. 이 방법은 단일 데이터 통과로도 동일한 표본 복잡도를 달성하며, 특이값 갭 $\Delta$와 조건수 $\gamma$에 따라 최적의 표본 복잡도를 확보한다.

ABSTRACT

We study the sample complexity of canonical correlation analysis (CCA), \ie, the number of samples needed to estimate the population canonical correlation and directions up to arbitrarily small error. With mild assumptions on the data distribution, we show that in order to achieve $\epsilon$-suboptimality in a properly defined measure of alignment between the estimated canonical directions and the population solution, we can solve the empirical objective exactly with $N(\epsilon, \Delta, \gamma)$ samples, where $\Delta$ is the singular value gap of the whitened cross-covariance matrix and $1/\gamma$ is an upper bound of the condition number of auto-covariance matrices. Moreover, we can achieve the same learning accuracy by drawing the same level of samples and solving the empirical objective approximately with a stochastic optimization algorithm; this algorithm is based on the shift-and-invert power iterations and only needs to process the dataset for $\mathcal{O}\left(\log \frac{1}{\epsilon} ight)$ passes. Finally, we show that, given an estimate of the canonical correlation, the streaming version of the shift-and-invert power iterations achieves the same learning accuracy with the same level of sample complexity, by processing the data only once.

연구 동기 및 목표

• 모수 캐논리컬 상관계수와 방향을 $\epsilon$-정확도로 추정하기 위해 필요한 최소 표본 수를 결정하는 것.
• 약간의 분포 가정 하에 정확한 및 근사적인 경험 cca 해법의 표본 복잡도를 분석하는 것.
• 표본 수를 크게 줄인 데이터 통과 횟수로 동일한 정확도를 달성하는 스트로크 최적화 방법을 개발하는 것.
• 데이터를 단 한 번만 처리하면서도 동일한 표본 복잡도를 유지하는 스트리밍 알고리즘을 설계하는 것.

제안 방법

• 경험 cca 목표를 근사적으로 해결하기 위한 스트로크 최적화 프레임워크를 제안하며, 이는 스트로크-인버트 힘 반복 기반이다.
• 수렴 분석에서 핵심 매개변수로 화이트닝된 교차공분산 행렬의 특이값 갭 $\Delta$와 조건수 $\gamma$를 사용한다.
• 주된 특이값과 보조 특이값 간의 갭을 증폭시켜 수렴 속도를 향상시키기 위해 스트로크-인버트 변환을 적용한다.
• 추정된 캐논리컬 방향과 모수 캐논리컬 방향 간의 정렬에서 $\epsilon$-부적합도를 달성하기 위한 표본 복잡도 $N(\epsilon, \Delta, \gamma)$를 유도한다.
• 스트로크-인버트 힘 반복의 스트리밍 버전을 설계하여 데이터를 한 번의 통과로 처리하면서도 동일한 표본 복잡도를 유지한다.
• 정확한 해법과 근사적인 경험 해법이 모두 동일한 표본 수로 동일한 $\epsilon$-정확도를 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 약간의 분포 가정 하에 cca에서 캐논리컬 방향을 $\epsilon$-정확도로 추정하기 위해 필요한 최소 표본 수는 얼마인가?
• RQ2 경험 cca 목표의 근사적 해법을 사용하는 스트로크 최적화가 정확한 방법과 동일한 표본 복잡도를 달성할 수 있는가?
• RQ3 스트로크 알고리즘이 cca 추정에서 $\epsilon$-정확도에 도달하기 위해 몇 번의 데이터 통과가 필요한가?
• RQ4 스트리밍 알고리즘이 데이터를 단 한 번만 처리하면서도 동일한 표본 복잡도를 달성할 수 있는가?
• RQ5 특이값 갭 $\Delta$와 조건수 $\gamma$는 cca의 표본 복잡도에 어떻게 영향을 미치는가?

주요 결과

• 캐논리컬 방향 정렬에서 $\epsilon$-부적합도를 달성하기 위한 표본 복잡도는 $N(\epsilon, \Delta, \gamma)$이며, 이는 특이값 갭 $\Delta$와 조건수 $\gamma$에 따라 달라진다.
• 경험 cca 목표를 정확히 해결할 경우, 약간의 분포 가정 하에 $N(\epsilon, \Delta, \gamma)$개의 표본으로 $\epsilon$-정확도를 달성할 수 있다.
• 스트로크-인버트 힘 반복 기반의 스트로크 최적화 알고리즘은 동일한 표본 복잡도와 $\mathcal{O}(\left(\log \frac{1}{\epsilon}\right))$회의 데이터 통과로 동일한 $\epsilon$-정확도를 달성한다.
• 스트로크-인버트 힘 반복의 스트리밍 버전은 데이터를 단 한 번만 처리하면서도 동일한 학습 정확도와 동일한 표본 복잡도를 유지한다.
• 스트로크 방법의 수렴 속도는 $\mathcal{O}(\log \frac{1}{\epsilon})$회의 통과로 결정되며, 이는 전체 배치 방법 대비 계산 오버헤드를 크게 줄인다.
• 제시된 가정 하에 이론적 경계는 날카롭게 유지되며, 제안된 방법이 cca에 대해 최적의 표본 복잡도를 달성함을 보여준다.