[논문 리뷰] On Column Selection in Approximate Kernel Canonical Correlation Analysis

Weiran Wang|arXiv (Cornell University)|2016. 02. 05.

Face and Expression Recognition참고 문헌 24인용 수 4

한 줄 요약

이 논문은 릿지 리베리지 스코어를 활용하여 Nyström 근사법을 사용하는 약간의 커널 공분산 분석(KCCA)을 위한 비균일한 컬럼 선택 전략을 제안한다. 이는 근사 정확도를 향상시킨다. 훈련 오차와 샘플 외 커널 안정성에 대한 이론적 경계를 수립하고, 다양한 랭크에서 효율적인 모델 선택을 위한 점진적 알고리즘을 도입하여 실제 및 시뮬레이션 데이터셋에서 균일 샘플링보다 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of column selection in large-scale kernel canonical correlation analysis (KCCA) using the Nyström approximation, where one approximates two positive semi-definite kernel matrices using "landmark" points from the training set. When building low-rank kernel approximations in KCCA, previous work mostly samples the landmarks uniformly at random from the training set. We propose novel strategies for sampling the landmarks non-uniformly based on a version of statistical leverage scores recently developed for kernel ridge regression. We study the approximation accuracy of the proposed non-uniform sampling strategy, develop an incremental algorithm that explores the path of approximation ranks and facilitates efficient model selection, and derive the kernel stability of out-of-sample mapping for our method. Experimental results on both synthetic and real-world datasets demonstrate the promise of our method.

연구 동기 및 목표

• 대규모 커널 공분산 분석(KCCA)의 근사 정확도를 향상시키기 위해 균일한 랜드마크 샘플링을 데이터 기반의 비균일 샘플링 전략으로 대체한다.
• 커널 리지 회귀에서 유도된 릿지 리베리지 스코어를 기반으로 한 이론적으로 탄탄한 컬럼 선택 방법을 개발하여 Nyström 기반 KCCA에 적용한다.
• 훈련 근사 오차(공분산 상관계수 오차)와 샘플 외 맵핑 안정성에 대한 이론적 보장을 제공한다.
• 다양한 근사 랭크에서 솔루션을 효율적으로 계산하기 위해 이전의 저랭크 근사를 재사용하는 점진적 알고리즘을 설계한다.
• 비균일 샘플링이 균일 샘플링보다 상관계수 정확도와 수렴 속도 측면에서 우수한 성능을 보임을 실증적으로 검증한다.

제안 방법

• 훈련 세트에서 랜드마크 포인트를 선택하여 중심화된 커널 행렬 $\overline{\mathbf{K}}_1$ 및 $\overline{\mathbf{K}}_2$ 를 Nyström 방법으로 근사한다.
• 각 뷰에 대해 계산된 릿지 리베리지 스코어를 기반으로 한 비균일 샘플링 전략을 제안하며, 이는 랜드마크 포인트 선택 확률을 가중치로 사용한다.
• 공분산 상관계수 근사 오차의 상한을 도출하기 위해 오차를 개별 뷰 기여도로 분해하고, 커널 차이의 스펙트럼 노름을 활용한다.
• 낮은 랭크 근사를 재사용하여 점차 증가하는 랭크에서 솔루션을 효율적으로 계산하는 점진적 알고리즘을 도입함으로써 빠른 모델 선택을 가능하게 한다.
• Nyström 근사 오차의 관점에서 진짜와 근사된 커널 맵핑 간의 차이를 경계함으로써 샘플 외 맵핑의 커널 안정성을 확보한다.
• KCCA 공식화에서 중심화된 커널 행렬을 다루기 위해 행렬 $\mathbf{H} = \mathbf{I} - \frac{1}{N}\mathbf{1}\mathbf{1}^T$ 를 통한 중심화 변환을 적용한다.

실험 결과

연구 질문

• RQ1 릿지 리베리지 스코어를 기반으로 한 비균일 샘플링이 균일 샘플링보다 커널 공분산 분석의 근사 정확도를 향상시킬 수 있는가?
• RQ2 공분산 상관계수 근사 오차와 샘플 외 맵핑 안정성에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ3 다양한 근사 랭크에서 솔루션을 다시 계산하지 않고도 효율적으로 계산할 수 있는 점진적 알고리즘은 어떻게 설계할 수 있는가?
• RQ4 두 뷰 간의 상호작용은 KCCA에서 랜드마크 선택 성능에 어떤 영향을 미치며, 이를 샘플링 전략에 활용할 수 있는가?
• RQ5 제안된 방법은 균일 샘플링 및 기준 KCCA보다 실제 및 시뮬레이션 데이터셋에서 더 뛰어난 상관계수 성능을 달성하는가?

주요 결과

• 릿지 리베리지 스코어를 기반으로 한 제안된 비균일 샘플링 전략은 시뮬레이션 및 실제 데이터셋(예: JW11 데이터셋 포함)에서 균일 샘플링보다 높은 공분산 상관계수 정확도를 달성한다.
• JW11 데이터셋에서 랭크 5000일 때, 이 방법은 균일 샘플링(100.8)과 릿지 기반 균일 샘플링(98.4)을 모두 능가하는 상관계수 101.5를 기록했다.
• 이론적 분석을 통해 공분산 상관계수 근사 오차는 전체 및 근사 커널 행렬 간의 차이의 스펙트럼 노름에 의해 경계되며, 리베리지 스코어 분포에 명시적인 의존성이 있음을 보였다.
• 점진적 알고리즘은 다양한 랭크에서 솔루션을 효율적으로 계산할 수 있게 하여, 각 랭크에서 다시 계산하는 것보다 계산 비용을 감소시켰다.
• 샘플 외 맵핑에 대한 커널 안정성 경계를 도출하였으며, 이는 이론적으로 메모리 외 일반화 성능을 유지함을 보여주었다.
• 실증 결과는 릿지 리베리지 스코어가 성능 향상에 기여하지만, 대규모 데이터셋에서 정확한 스코어를 계산하는 데 어려움과 KCCA에서 두 뷰 간의 복잡한 상호작용으로 인해 성능 향상 폭은 제한적임을 시사한다.