[논문 리뷰] Sparse Canonical Correlation Analysis

David R. Hardoon, John Shawe‐Taylor|ArXiv.org|2009. 08. 19.

Face and Expression Recognition참고 문헌 24인용 수 18

한 줄 요약

이 논문은 희소 표준 상관 분석(Sparse Canonical Correlation Analysis, SCCA)을 제안한다. SCCA는 한 시각을 원시(입력) 공간에서, 다른 시각을 이중(커널) 공간에서 투영함으로써 희소하고 해석 가능한 의미 공간을 학습하는 볼록 최소 제곱 방법이다. 특징 차원이 클 경우, SCCA는 KCCA(Kernel CCA)보다 더 적은 특징 수(예: 460개 대비 49,212개 단어)를 사용하면서도 성능을 유지하거나 향상시키며 매칭 검색 작업에서 더 우수한 성능을 보인다.

ABSTRACT

We present a novel method for solving Canonical Correlation Analysis (CCA) in a sparse convex framework using a least squares approach. The presented method focuses on the scenario when one is interested in (or limited to) a primal representation for the first view while having a dual representation for the second view. Sparse CCA (SCCA) minimises the number of features used in both the primal and dual projections while maximising the correlation between the two views. The method is demonstrated on two paired corpuses of English-French and English-Spanish for mate-retrieval. We are able to observe, in the mate-retreival, that when the number of the original features is large SCCA outperforms Kernel CCA (KCCA), learning the common semantic space from a sparse set of features.

연구 동기 및 목표

• 기존 CCA가 선형 조합에서 모든 특징을 사용하기 때문에 희소성과 해석 가능성에 빈도가 낮은 문제를 해결하기 위해.
• 원시-이중 프레임워크에서 희소 특징 선택이 가능하도록, 볼록 최소 제곱 공식화된 CCA를 개발하기 위해.
• 한 시각이 입력 공간에 있고 다른 시각이 커널 공간에 있을 경우 공통 의미 공간을 효율적으로 학습하기 위해.
• 희소 표현이 고차원 설정에서 특히 의미 매칭 작업에 대해 조밀한 표현을 능가할 수 있음을 보여주기 위해.

제안 방법

• SCCA를 볼록 최적화 문제로 공식화하여, 원시 및 이중 투영에 L1 펜alties를 적용한 정규화된 최소 제곱 목표를 최소화한다.
• 상관관계를 극대화하면서도 희소성을 유지하는 특징을 반복적으로 선택하는 탐욕 알고리즘을 사용한다.
• 원시 공간에 있는 한 시각과 커널 공간에 있는 다른 시각을 동시에 다루는 혼합 원시-이중 프레임워크에서 CCA를 처음으로 공식화한다.
• 원시(입력) 및 이중(커널) 투영 벡터 양쪽에 L1 정규화를 적용하여 희소성을 강제한다.
• 표준 CCA를 재구성하여 공분산 행렬 대신 훈련 데이터를 직접 다루도록 함으로써 계산 효율성을 향상시킨다.
• 대규모 공분산 행렬의 계산과 역행렬 계산이 필요 없도록 최소 제곱 방법으로 투영 가중치를 구한다.

실험 결과

연구 질문

• RQ1 모든 특징을 사용하는 대신 높은 상관관계를 유지하면서도 특징 사용을 줄이는 희소 볼록 CCA 공식화가 가능할 수 있는가?
• RQ2 한 시각을 원시 공간에서, 다른 시각을 이중 공간에서 학습하는 혼합 원시-이중 프레임워크에서 고차원 데이터에 대해 성능 향상이 이루어지는가?
• RQ3 원래 특징 수가 많을 경우, 희소 CCA가 의미 매칭 작업에서 커널 CCA를 능가할 수 있는가?
• RQ4 특징 선택의 희소성은 학습된 의미 공간의 해석 가능성과 성능에 어떤 영향을 미치는가?

주요 결과

• 영어-스페인어 어휘집(49,212개 단어)에서 원래 특징 수가 많을 경우, SCCA는 매칭 검색 작업에서 KCCA를 능가한다.
• 영어-프랑스어 어휘집에서는 SCCA가 142개 단어와 42개 문서로 KCCA(2,794개 단어, 50개 문서)와 유사한 성능을 달성한다.
• 영어-스페인어 실험에서는 SCCA가 모든 투영 수에 걸쳐 KCCA를 일관되게 능가하여 고차원 환경에서의 강건성을 입증한다.
• 영어-스페인어 어휘집에서 SCCA는 최대 460개 단어의 희소성을 달성했고, KCCA는 49,212개 단어를 모두 사용하여 특징 수를 크게 줄였다.
• 결과적으로 과도한 특징 수는 성능을 저해할 수 있으며, 희소 특징 선택은 더 나은 일반화와 해석 가능성으로 이어진다.