[논문 리뷰] Robust Kernel (Cross-) Covariance Operators in Reproducing Kernel Hilbert Space toward Kernel Methods

Md Ashad Alam, Kenji Fukumizu외 1명|arXiv (Cornell University)|2016. 02. 17.

Face and Expression Recognition참고 문헌 32인용 수 4

한 줄 요약

이 논문은 이차 손실 대신 일반화된 손실 함수를 사용하여 외곽치에 덜 민감한 강건한 커널 공분산(CO) 및 교차공분산(CCO) 연산자를 제안한다. 이를 통해 외곽치에 덜 민감한 강건한 커널 공선상관분석(KCCA)을 가능하게 하며, 커널화된 반복적으로 가중치를 조정하는 최소제곱법(KIRWLS)을 활용하여 실증 데이터와 영상 유전체 데이터에서 기존의 방법들과 최신 기술들보다 뛰어난 성능을 보인다. 이는 강건성과 분류 정확도 향상으로 이어진다.

ABSTRACT

To the best of our knowledge, there are no general well-founded robust methods for statistical unsupervised learning. Most of the unsupervised methods explicitly or implicitly depend on the kernel covariance operator (kernel CO) or kernel cross-covariance operator (kernel CCO). They are sensitive to contaminated data, even when using bounded positive definite kernels. First, we propose robust kernel covariance operator (robust kernel CO) and robust kernel crosscovariance operator (robust kernel CCO) based on a generalized loss function instead of the quadratic loss function. Second, we propose influence function of classical kernel canonical correlation analysis (classical kernel CCA). Third, using this influence function, we propose a visualization method to detect influential observations from two sets of data. Finally, we propose a method based on robust kernel CO and robust kernel CCO, called robust kernel CCA, which is designed for contaminated data and less sensitive to noise than classical kernel CCA. The principles we describe also apply to many kernel methods which must deal with the issue of kernel CO or kernel CCO. Experiments on synthesized and imaging genetics analysis demonstrate that the proposed visualization and robust kernel CCA can be applied effectively to both ideal data and contaminated data. The robust methods show the superior performance over the state-of-the-art methods.

연구 동기 및 목표

• 오염된 데이터가 존재하는 상황에서 비모수적 강건한 방법의 부족을 해결하기 위해.
• 기존의 커널 CO 및 CCO보다 외곽치에 덜 민감한 강건한 커널 공분산 및 교차공분산 연산자를 개발하기 위해.
• 기존의 커널 CCA에 대한 영향 함수(IF)를 유도하여 데이터 오염에 대한 민감도를 정량화하기 위해.
• 기존의 커널 CCA의 영향 함수를 활용하여 두 데이터셋에서 영향력 있는(외곽치로 간주되는) 관측치를 탐지할 수 있는 시각화 방법을 제안하기 위해.
• 강건한 CO 및 CCO를 기반으로 한 강건한 커널 CCA를 제안하여 노이즈가 많고 고차원적인 데이터에서 성능을 향상시키기 위해.

제안 방법

• 이차 손실 대신 일반화된 손실 함수(예: Huber 유형)를 사용하여 외곽치에 덜 민감한 강건한 커널 CO 및 CCO를 제안한다.
• 기존의 커널 CCA에 대한 영향 함수(IF)를 유도하여 데이터 오염에 대한 민감도를 정량화한다.
• 커널 CCA의 영향 함수를 활용하여 두 데이터셋에서 영향력 있는 관측치를 탐지할 수 있는 시각화 기법을 개발한다.
• 강건한 CO 및 CCO를 조합하여 강건한 커널 CCA를 제안함으로써 외곽치 존재 상황에서도 강건한 추정이 가능하도록 한다.
• 강건한 커널 연산자를 효율적으로 계산하기 위해 커널화된 반복적으로 가중치를 조정하는 최소제곱법(KIRWLS) 알고리즘을 활용한다.
• 실제 데이터, 특히 영상 유전체 데이터와 UCI 데이터셋에 대해 분류 및 특징 추출을 위해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 비모수적 커널 학습에서 오염된 데이터에 대해 강건한 공분산 및 교차공분산 연산자를 어떻게 설계할 수 있는가?
• RQ2 기존의 커널 CCA의 영향 함수는 무엇이며, 이는 외곽치에 대한 민감도를 어떻게 드러내는가?
• RQ3 기존의 커널 CCA의 영향 함수를 기반으로 한 시각화 방법이 두 데이터셋에서 영향력 있는 관측치를 효과적으로 탐지할 수 있는가?
• RQ4 강건한 커널 CCA는 기존의 커널 CCA, hsicCCA, ktaCCA와 비교해 강건성과 분류 정확도 측면에서 어떻게 다른가?
• RQ5 제안된 강건한 프레임워크는 CO 및 CCO에 의존하는 다른 커널 방법으로 일반화될 수 있는가?

주요 결과

• 강건한 커널 CCA는 와인, 유방 조직, 당뇨병, 림프종 데이터셋에서 기존의 커널 CCA보다 낮은 분류 오차를 기록하며, 특히 저차원 특징 공간에서 뛰어난 성능을 보였다.
• 와인 데이터셋에서는 기존 및 강건한 커널 CCA 모두 2개의 공선변수를 사용할 때 2.81%의 오차를 기록하지만, 강건한 CCA는 오염 상황에서도 안정성을 유지한다.
• 고차원적인 림프종 데이터셋(4026개 특징)에서는 강건한 커널 CCA가 2개의 공선변수를 사용할 때 0.00%의 오차를 기록했으며, 차원의 저주 현상으로 인해 실패하는 hsicCCA 및 ktaCCA보다 뛰어난 성능을 보였다.
• 영향 함수 시각화 기법은 합성 데이터와 실제 영상 유전체 데이터에서 영향력 있는 관측치를 성공적으로 식별했으며, 이는 본 방법의 진단 능력을 확인한다.
• hsicCCA 및 ktaCCA는 고차원 환경에서 모든 공선변수를 추출하지 못하는 반면, 강건한 커널 CCA는 훨씬 뛰어난 성능을 보였으며, 이는 표 3의 별표로 확인된다.
• KIRWLS 알고리즘은 강건한 커널 연산자의 효율적 계산을 가능하게 하여 확장성과 실용적 구현을 지원한다.