[논문 리뷰] Regularization of the Kernel Matrix via Covariance Matrix Shrinkage Estimation

Tomer Lancewicki|arXiv (Cornell University)|2017. 07. 19.

Face and Expression Recognition참고 문헌 26인용 수 3

한 줄 요약

이 논문은 특성 공간을 명시적으로 다룰 필요 없이 커널 행렬에서 직접 조정되는 공분산 행렬 수축 추정을 이용해 분포에 종속되지 않는 커널 행렬 정규화를 제안한다. 이 방법은 고차원, 소표본 설정에서 조건이 나쁜 커널 행렬을 안정화시켜 분류 작업에서 상당한 성능 향상을 이룬다. MSE 최적화된 수축을 통해 실현된다.

ABSTRACT

The kernel trick concept, formulated as an inner product in a feature space, facilitates powerful extensions to many well-known algorithms. While the kernel matrix involves inner products in the feature space, the sample covariance matrix of the data requires outer products. Therefore, their spectral properties are tightly connected. This allows us to examine the kernel matrix through the sample covariance matrix in the feature space and vice versa. The use of kernels often involves a large number of features, compared to the number of observations. In this scenario, the sample covariance matrix is not well-conditioned nor is it necessarily invertible, mandating a solution to the problem of estimating high-dimensional covariance matrices under small sample size conditions. We tackle this problem through the use of a shrinkage estimator that offers a compromise between the sample covariance matrix and a well-conditioned matrix (also known as the "target") with the aim of minimizing the mean-squared error (MSE). We propose a distribution-free kernel matrix regularization approach that is tuned directly from the kernel matrix, avoiding the need to address the feature space explicitly. Numerical simulations demonstrate that the proposed regularization is effective in classification tasks.

연구 동기 및 목표

• 표본 공분산 행렬이 조건이 나쁘거나 가역적이지 않은 고차원, 소표본 설정에서 커널 행렬의 불안정성 문제를 해결하기 위해.
• 특성 공간 계산을 명시적으로 피하면서도 통계적 최적성을 유지하는 커널 행렬 정규화 방법을 개발하기 위해.
• 의미 있는 추가 구조적 가정 없이, 커널 행렬에서 직접 조정되는 수축 기반 정규화를 제공하기 위해, 평균 제곱 오차(MSE)를 최소화하기 위함.

제안 방법

• 특성 공간에서 커널 행렬과 표본 공분산 행렬 간의 스펙트럼적 연결을 활용하여 수축 추정 기법을 전이한다.
• 표본 공분산 행렬과 잘 조절된 목표 행렬 간의 균형을 맞추는 수축 추정기를 구성하여 MSE를 최소화한다.
• 커널 행렬의 추적과 프로베니우스 노름 연산을 통해 커널 행렬의 원소들로부터 최적의 수축 강도를 해석적으로 유도한다.
• 표본 공분산 행렬과 목표 행렬의 분산에 대한 비편향 추정기를 커널 행렬의 추적과 대각 원소에서 유도한다.
• 최종 정규화는 커널 행렬의 추적과 대각 원소를 포함하는 닫힌 형태의 표현식을 사용해 커널 행렬에 직접 적용된다.
• 이 방법은 분포에 종속되지 않으며, 원천 데이터의 분포나 특성 공간의 구조에 대한 가정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 특성 공간이나 그 공분산 행렬에 직접적인 접근 없이 커널 행렬 정규화를 효과적으로 달성할 수 있는가?
• RQ2 특성 공간에서의 표본 공분산 행렬 수축 추정을 어떻게 커널 행렬 정규화 방법으로 번역할 수 있는가?
• RQ3 고차원, 소표본 조건에서 커널 행렬에 대한 최적의 수축 강도는 무엇이며, 이를 커널 행렬에서 직접 계산할 수 있는가?
• RQ4 제안된 방법은 기존 커널 방법에 비해 분류 작업에서 일반화 성능을 향상시키는가?
• RQ5 오직 커널 행렬 통계 자료만을 사용하여 분포에 종속되지 않는 수축 추정기를 도출할 수 있는가?

주요 결과

• 제안된 커널 행렬 정규화는 조건이 나쁜 커널 행렬을 안정화시켜 고차원, 소표본 환경에서 분류 성능을 크게 향상시킨다.
• 특성 공간 계산이나 추가적인 구조적 가정 없이도 MSE 최소화를 통한 최적의 수축을 달성한다.
• 최적의 수축 강도는 커널 행렬의 추적과 대각 원소에서 해석적으로 유도되어 커널 행렬에서 직접 계산이 가능하다.
• 수치 시뮬레이션은 정규화가 분류 작업에서 일반화 능력과 강인성을 향상시킨다는 것을 확인한다.
• 이 방법은 기존 커널 정규화의 분포에 종속되지 않은 계산 효율적인 대안을 제공하며, 특히 특성 수가 표본 수를 초과할 경우에 매우 효과적이다.