[논문 리뷰] A kernel method for canonical correlation analysis

Shotaro Akaho|ArXiv.org|2006. 09. 13.

Face and Expression Recognition참고 문헌 8인용 수 459

한 줄 요약

이 논문은 커널 기법을 사용하여 복잡한 비선형 관계를 포착할 수 있도록 선형 캐논리컬 상관계수 분석(CCA)을 비선형으로 확장한 커널 캐논리컬 상관계수 분석(Kernel CCA)을 제안한다. 정규화를 통해 과적합을 방지하며, 커널 트릭을 통해 고차원 특징 공간으로의 데이터 매핑을 효율적으로 수행하여 시뮬레이션에서 높은 상관계수를 달성함으로써 패턴 인식 작업에서 다중모odal 특징 추출에 효과적임을 입증한다.

ABSTRACT

Canonical correlation analysis is a technique to extract common features from a pair of multivariate data. In complex situations, however, it does not extract useful features because of its linearity. On the other hand, kernel method used in support vector machine is an efficient approach to improve such a linear method. In this paper, we investigate the effectiveness of applying kernel method to canonical correlation analysis.

연구 동기 및 목표

• 이미지 및 음성과 같은 다중모달 데이터 간의 비선형 관계를 포착하지 못하는 선형 CCA의 한계를 해결하기 위해.
• 서포트 벡터 기반의 방법과 유사하게 커널 기법을 사용하여 캐논리컬 상관계수 분석을 비선형 특징 추출이 가능하도록 확장하기 위해.
• 고차원 데이터에서 일반화 성능을 향상시키고 과적합을 방지하기 위해 커널 CCA 프레임워크에 정규화를 통합하기 위해.
• 신경망 기반 비선형 CCA에 비해 국소 최적해가 적고 계산 비용이 낮은 계산 효율성이 높은 대안을 제공하기 위해.
• 정보 이론적 접근 방식(예: 다중모달 ICA)과 커널 CCA를 통합하여 다양한 노이즈 조건 하에서 개선된 특징 표현을 도출하기 위해.

제안 방법

• 비선형 특징 매핑 $\phi_x$ 및 $\phi_y$ 를 사용하여 원래 입력 공간의 입력 데이터를 고차원의 재생 핵 힐버트 공간으로 매핑한다.
• 특징 공간 내의 내적을 커널 함수 $k_x({\bf x}_i, {\bf x}_j) = \langle \phi_x({\bf x}_i), \phi_x({\bf x}_j) \rangle$ 로 대체함으로써 힐버트 공간 내의 내적을 직접 계산하지 않고도 커널 트릭을 적용한다.
• 학습 데이터의 특징 공간에서의 선형 조합으로 캐논리컬 벡터를 표현함으로써 최적화 문제의 이중 형태를 유도한다: $a = \sum_i \alpha_i \phi_x({\bf x}_i)$.
• 최적화 문제의 잘 정의된 성격을 확보하고 과적합을 방지하기 위해 이차 정규화 항 $\frac{\eta}{2}(\|a\|^2 + \|b\|^2)$ 을 도입한다.
• 학습 샘플로부터 구성된 커널 행렬에 대해 고유값 분해를 사용하여 정규화된 라그랑주 승수 문제를 해결한다.
• 비선형 의존성을 모델링하기 위해 실험에서 $\eta = 0.1$, $\sigma = 0.1$ 인 가우시안 커널을 사용한다.

실험 결과

연구 질문

• RQ1 커널 기법이 다중모달 데이터 간의 비선형 관계를 효과적으로 선형 CCA의 확장으로 모델링할 수 있는가?
• RQ2 정규화가 고차원 특징 공간에서 커널 CCA의 일반화 성능을 어떻게 향상시키는가?
• RQ3 상관계수 및 계산 효율성 측면에서 전통적 CCA 및 신경망 기반 비선형 CCA에 비해 커널 CCA의 성능는 어떠한가?
• RQ4 저노이즈 대비 고노이즈 조건 등 다양한 데이터 조건에서 커널 CCA가 정보 이론적 방법(예: 다중모달 ICA)을 초월하거나 보완하는가?
• RQ5 상관계수 값이 높을 경우 커널 CCA를 엔트로피가 더 높은 특징 공간 분포를 유도하도록 적응시킬 수 있는가?

주요 결과

• 커널 CCA는 시뮬레이션 데이터에서 강력한 비선형 관계를 효과적으로 포착하여 테스트 데이터에서 첫 번째 특징 쌍($u_1$ 및 $v_1$) 간의 상관계수 0.97를 달성하였다.
• 두 번째 캐논리컬 변량 쌍 역시 높은 상관계수(0.95)를 보이며, 이는 데이터로부터 다수의 비선형 성분을 효과적으로 추출할 수 있음을 시사한다.
• 시뮬레이션 2에서 커널 CCA는 표준 CCA보다 $x$–$y$ 플롯에서 클래스의 구조를 명확히 분리함으로써 우수한 비선형 특징 추출 능력을 입증하였다.
• 신경망 기반 비선형 CCA 대비 국소 최적해를 피하고 계산 비용을 감소시킴으로써 성능이 뛰어나다.
• 정규화 파rameter $\eta = 0.1$ 과 가우시안 커널 $\sigma = 0.1$ 조합이 안정적이고 높은 성능을 보이며, 이는 최적 성능을 얻기 위해 파라미터 튜닝이 필수적임을 시사한다.
• 노이즈 수준이 낮을 경우 커널 CCA는 거의 완벽한 상관계수를 달성하여 상호정보량이 최대화되고 이는 이러한 환경에서의 효과성을 입증한다.