[논문 리뷰] Nonparametric Canonical Correlation Analysis

Tomer Michaeli, Weiran Wang외 1명|arXiv (Cornell University)|2015. 11. 16.

Face and Expression Recognition참고 문헌 38인용 수 39

한 줄 요약

이 논문은 재생 커널 힐버트 공간에 함수를 제한하지 않고 다중 시각 데이터 간의 최대 상관관계를 가지는 비모수적 비선형 투영을 찾는 데 있어 계산적으로 효율적인 방법인 비모수적 캐논리컬 상관계석 분석(NCCA)을 제안한다. 공동 밀도로부터 유도된 연산자의 특이값 분해를 활용함으로써 NCCA는 커널 행렬의 역행렬 계산을 피하고, 커널 CCA를 능가하며 딥 CCA와 동등한 성능을 내지만 중간 크기의 데이터셋에서는 훨씬 더 빠르게 작동한다.

ABSTRACT

Canonical correlation analysis (CCA) is a classical representation learning technique for finding correlated variables in multi-view data. Several nonlinear extensions of the original linear CCA have been proposed, including kernel and deep neural network methods. These approaches seek maximally correlated projections among families of functions, which the user specifies (by choosing a kernel or neural network structure), and are computationally demanding. Interestingly, the theory of nonlinear CCA, without functional restrictions, had been studied in the population setting by Lancaster already in the 1950s, but these results have not inspired practical algorithms. We revisit Lancaster's theory to devise a practical algorithm for nonparametric CCA (NCCA). Specifically, we show that the solution can be expressed in terms of the singular value decomposition of a certain operator associated with the joint density of the views. Thus, by estimating the population density from data, NCCA reduces to solving an eigenvalue system, superficially like kernel CCA but, importantly, without requiring the inversion of any kernel matrix. We also derive a partially linear CCA (PLCCA) variant in which one of the views undergoes a linear projection while the other is nonparametric. Using a kernel density estimate based on a small number of nearest neighbors, our NCCA and PLCCA algorithms are memory-efficient, often run much faster, and perform better than kernel CCA and comparable to deep CCA.

연구 동기 및 목표

• 재생 커널 힐버트 공간과 같은 사전 정의된 함수 클래스에 비선형 투영을 제한하지 않는 실용적인 비모수적 CCA 알고리즘을 개발하기 위해.
• 1950년대 랜카스터의 인구 수준 비선형 CCA에 대한 이론적 결과를 활용하여 확장 가능하고 효율적인 알고리즘을 설계하기 위해.
• 커널 CCA와 딥 CCA의 계산 비효율성을 해결하기 위해 커널 행렬의 역행렬 계산과 종단간 훈련을 피하기 위해.
• 한 시각은 비선형 투영을, 다른 시각은 선형 투영을 사용하는 부분 선형 CCA 변형(PLCCA)을 도입하기 위해.
• 실제 데이터셋에서 최신 기술 수준의 성능를 보이며, 속도와 메모리 효율성이 향상됨을 보여주기 위해.

제안 방법

• NCCA는 두 시각의 공동 밀도에 의해 정의된 연산자의 특이벡터로 최적의 비선형 투영을 설정한다.
• 해당 방법은 k-최근접 이웃 기반 커널 밀도 추정을 사용하여 인구 밀도를 추정함으로써 명시적 커널 행렬 계산을 피한다.
• 해결책은 시각 간의 국소 상호정보량에서 유도된 커널을 포함하는 고유값 문제로 축소된다.
• PLCCA는 한 시각이 비선형 예측자, 다른 시각이 선형 예측자를 사용하는 인구 설정에서 닫힌 형태의 해로 유도된다.
• 알고리즘은 데이터로부터 최적의 비선형 예측자를 추정하기 위해 비선형 회귀를 사용하며, 계산 효율성을 유지한다.
• 이 방법은 커널 행렬의 역행렬 계산을 피함으로써 KCCA와 DCCA보다 더 빠른 훈련과 낮은 메모리 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제약이 없는 비선형 CCA에 대한 랜카스터의 이론적 프레임워크를 실용적이고 확장 가능한 알고리즘으로 번역할 수 있는가?
• RQ2 커널 행렬의 역행렬 계산이나 딥 네트워크 훈련이 필요 없이 비모수적 CCA 방법을 설계할 수 있는가?
• RQ3 NCCA는 딥 CCA와 유사한 성능를 내면서도 훨씬 더 빠르고 메모리 효율성이 높은가?
• RQ4 부분 선형 CCA 변형은 모델링의 융통성과 계산 효율성 사이의 좋은 균형을 제공할 수 있는가?
• RQ5 밀도 추정 방법의 선택(예: k-NN KDE)이 NCCA의 성능와 확장 가능성에 어떤 영향을 미치는가?

주요 결과

• MNIST에서 NCCA는 분류 정확도와 클러스터링 성능에서 딥 CCA와 동등한 near-perfect 클래스 분리 성능를 달성한다.
• MNIST의 5만 개 서브셋에서 NCCA는 테스트 오차율 4.7%를 기록하여 KCCA(5.9%)를 능가하고 DCCA(2.9%)에 가까워졌다.
• 커널 행렬의 역행렬 계산과 종단간 훈련이 없기 때문에 NCCA는 KCCA와 DCCA보다 훨씬 빠르고 메모리 효율성이 높다.
• PLCCA는 실생활 데이터에서 CCA와 KCCA보다 뚜렷이 우수하며 딥 CCA와 유사한 성능를 보였고, 특히 한 시각이 본질적으로 선형인 경우에 유리하다.
• 훈련 데이터가 감소할 경우에도 알고리즘의 성능는 강건했으며, NCCA는 전체 MNIST 훈련 세트의 10%에서도 여전히 KCCA를 앞섰다.
• k-NN 기반 KDE의 사용은 메모리 효율성을 높였고, 근사 최근접 이웃 검색을 적용하면 메서드의 속도를 더욱 향상시킬 수 있다.