[논문 리뷰] Stochastic Approximation for Canonical Correlation Analysis

Raman Arora, Teodor V. Marinov외 2명|arXiv (Cornell University)|2017. 02. 22.

Blind Source Separation Techniques인용 수 17

한 줄 요약

이 논문은 캐논리컬 코herence 분석(CCA)를 위한 최초의 1차 순차적 근사 알고리즘인 캡슐 행렬 확률적 경사하강(capped-MSG) 및 행렬 지수 경사(메그)를 제안하며, 인구 목표 함수에서 ϵ-하위최적성을 O(1/ϵ²) 반복 이내로 달성한다. 이 방법들은 비분해형 비율 기반 CCA 목표 함수를 다루기 위해 유한한 노이즈를 가진 근사 경사 추정치를 사용함으로써, 큰 데이터셋으로의 효율적 확장이 가능하며, 공분산 행렬에 대한 온건한 조건 하에서 이론적 수렴 보장을 유지한다.

ABSTRACT

We propose novel first-order stochastic approximation algorithms for canonical correlation analysis (CCA). Algorithms presented are instances of inexact matrix stochastic gradient (MSG) and inexact matrix exponentiated gradient (MEG), and achieve $ε$-suboptimality in the population objective in $\operatorname{poly}(\frac{1}ε)$ iterations. We also consider practical variants of the proposed algorithms and compare them with other methods for CCA both theoretically and empirically.

연구 동기 및 목표

• 대규모 데이터셋을 다룰 수 있는 효율적이고 스케일러블한 1차 순차적 근사 알고리즘을 개발하는 것.
• 표준 확률적 경사 하강법을 적용할 수 없는, 기대값의 비율로 구성된 비분해형 목표 함수를 다루는 데 있어 CCA의 과제를 해결하는 것.
• 유한한 노이즈를 가진 근사 경사 오ракูล을 사용할 경우에도 확률적 CCA 알고리즘의 이론적 수렴 보장을 제공하는 것.
• 기존 방법들보다 런타임과 수렴 속도 측면에서 뛰어난 실용적 변형 알고리즘을 설계하는 것.
• 인구 자동공분산 행렬의 최소 고유값에 하한을 둠으로써 CCA 문제의 잘 정의됨을 보장하는 것.

제안 방법

• 비정확한 프록시멀 경사 하강법의 예시로 캡슐-MSG 및 MEG-CCA를 제안하며, 유한한 덧셈 오차를 가진 노이즈가 섞인 경사 추정치를 사용한다.
• 제약 조건이 있는 문제를 정규직교 조건을 가진 등가 문제로 변환하기 위해 U = Cx^{1/2}Ũ 및 V = Cy^{1/2}Ṽ 를 통한 재정의를 사용한다.
• 각 반복에서 정확한 프록시멀 스텝(브레그만 사영)을 적용하여 정규직교 조건 하에서 탇합성을 유지한다.
• 캡슐-MSG에서 경사 업데이트에 캡핑 메커니즘을 적용하여 스텝 크기를 제어하고 안정성 및 수렴을 향상시킨다.
• 비정확한 프록시멀 경사 하강법의 프레임워크를 사용하여 수렴 분석을 수행하며, 경사 오차가 유한할 경우 O(1/√T) 수렴 속도를 보임을 입증한다.
• 실험에서 MSG 및 MEG 알고리즘 모두에 대해 ηt = 0.1/√t 정책을 스텝 크기로 적용한다.

실험 결과

연구 질문

• RQ1 1차 순차적 근사 알고리즘이 O(1/ϵ²) 반복 이내로 인구 CCA 목표 함수에서 ϵ-하위최적성을 달성할 수 있는가?
• RQ2 표본 간 분해가 불가능한 비분해형 비율 기반 CCA 목표 함수를 다루기 위해 확률적 경사 방법을 어떻게 수정할 수 있는가?
• RQ3 경사 추정치에 유한한 노이즈가 존재할 경우 비정확한 프록시멀 경사 하강법의 수렴 행동은 어떻게 되는가?
• RQ4 제안된 알고리즘의 실용적 변형이 기존 CCA 솔버들보다 런타임과 수렴 속도 측면에서 뛰어나게 성능을 냈는가?
• RQ5 특히 공분산 행렬이 악조건인 경우, 제안된 알고리즘은 MediaMill과 같은 실제 다중시각 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• MediaMill 데이터셋에서 캡슐-MSG는 전체 런타임 측면에서 MEG 및 다른 기준선보다 뛰어난 성능을 보였다.
• MEG 및 캡슐-MSG는 인구 목표 함수에서 O(1/ϵ²) 반복 이내로 ϵ-하위최적성을 달성하였으며, 표준 순차적 근사의 이론적 수렴 속도와 일치한다.
• 실험 결과, CCALin 및 ALS CCA는 반복당 성능에서 MEG 및 캡슐-MSG를 능가하지만, 반복당 런타임이 빠르기 때문에 총합적으로 캡슐-MSG가 뛰어난 성능을 보였다.
• 이론적 분석 결과 누적 경사 오차 E = O(√T)임을 입증하였으며, 이는 비정확한 프록시멀 경사 하강 프레임워크 하에서 O(1/√T) 수렴 속도를 확보하는 데에 충분하다.
• 인구 자동공분산 행렬의 최소 고유값이 양수 상한선으로 둔 경우, 알고리즘은 여전히 효과적으로 작동한다.
• CCALin 및 ALS CCA와 달리, 제안된 방법은 고유값 갭에 대한 사전 지식이 필요로 하지 않는다.