[논문 리뷰] An eigenanalysis of data centering in machine learning

Paul Honeiné|arXiv (Cornell University)|2014. 07. 10.

Face and Expression Recognition참고 문헌 64인용 수 12

한 줄 요약

이 논문은 커널 기반 기계학습에서 중심화된 데이터와 중심화되지 않은 데이터의 고유분석을 수행하며, 중심화된 상태에서의 그람 행렬의 고유값과 고유벡터 간의 수학적 관계를 유도한다. 중심화된 상태에서의 고유값과 고유벡터에 대한 상호 끼워맞춤 성질과 경계를 규명함으로써, 전통적인 주성분 분석(중심화된)과 커널 엔트로피 성분 분석과 같은 비중앙화 방법 사이의 이론적 격차를 메운다.

ABSTRACT

Many pattern recognition methods rely on statistical information from centered data, with the eigenanalysis of an empirical central moment, such as the covariance matrix in principal component analysis (PCA), as well as partial least squares regression, canonical-correlation analysis and Fisher discriminant analysis. Recently, many researchers advocate working on non-centered data. This is the case for instance with the singular value decomposition approach, with the (kernel) entropy component analysis, with the information-theoretic learning framework, and even with nonnegative matrix factorization. Moreover, one can also consider a non-centered PCA by using the second-order non-central moment. The main purpose of this paper is to bridge the gap between these two viewpoints in designing machine learning methods. To provide a study at the cornerstone of kernel-based machines, we conduct an eigenanalysis of the inner product matrices from centered and non-centered data. We derive several results connecting their eigenvalues and their eigenvectors. Furthermore, we explore the outer product matrices, by providing several results connecting the largest eigenvectors of the covariance matrix and its non-centered counterpart. These results lay the groundwork to several extensions beyond conventional centering, with the weighted mean shift, the rank-one update, and the multidimensional scaling. Experiments conducted on simulated and real data illustrate the relevance of this work.

연구 동기 및 목표

• 커널 기반 기계학습에서 중심화된 데이터와 중심화되지 않은 데이터 사이의 이론적·실용적 격차를 조율하기 위해.
• 중심화가 주성분 분석 및 관련 방법에서 사용되는 그람 행렬의 고유구조에 어떻게 영향을 미치는지 분석하기 위해.
• 중심화된 내적 행렬과 중심화되지 않은 내적 행렬 간의 고유값과 고유벡터를 연결하는 수학적 기초를 제공하기 위해.
• 표준 중심화를 초월하여 가중 평균 이동, 순위-일치 업데이트, 다차원 척도법과 같은 분석을 확장하기 위해.
• 비음수 데이터 또는 밀도 추정과 같은 응용 분야에서 중심화가 의미 있는 정보를 손실시키는 경우 비중앙화 방법의 사용을 뒷받침하기 위해.

제안 방법

• 행렬 편향 이론을 사용하여 중심화된 그람 행렬 $\mathbf{K}_c$ 와 비중앙화된 $\mathbf{K}$ 간의 고유값 상호 끼워맞춤 성질을 도출한다.
• 데이터 평균 $\boldsymbol{\mu}$ 와 $\mathbf{K}$ 의 고유값에 기반하여 $\mathbf{K}_c$ 의 고유값에 대한 경계를 설정한다.
• 중심화된 $\mathbf{K}_c$ 와 비중앙화된 $\mathbf{K}$ 의 최상위 고유벡터 간의 관계를 분석하며, $\mathbf{K}_c$ 의 가장 큰 고유벡터가 분산을 더 잘 포괄함을 보여준다.
• 스펙트럼 분해와 특이값 분해(SVD)를 활용하여 비중앙화 및 중심화된 그람 행렬 간의 관계를 규명한다.
• 수정된 행렬의 고유분해를 통해 가중 중심화, 순위-일치 업데이트, 다차원 척도법 등의 응용에 결과를 적용한다.
• 시뮬레이션된 데이터와 실제 데이터셋(예: 아카이브, 바나나 모양)을 대상으로 수치 실험을 수행하여 이론적 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 중심화된 그람 행렬 $\mathbf{K}_c$ 와 비중앙화된 $\mathbf{K}$ 의 고유값은 어떻게 상호 끼워맞추어지는가?
• RQ2 특히 분산 포괄 측면에서, 중심화된 $\mathbf{K}_c$ 와 비중앙화된 $\mathbf{K}$ 의 최상위 고유벡터 간의 관계는 어떠한가?
• RQ3 중심화가 커널 기반 방법에서 고유값과 고유벡터의 분포에 어떻게 영향을 미치는가?
• RQ4 비중앙화된 $\mathbf{K}$ 와 데이터 평균 $\boldsymbol{\mu}$ 에 기반하여 중심화된 $\mathbf{K}_c$ 의 고유값에 대한 이론적 경계를 유도할 수 있는가?
• RQ5 비음수 또는 비대칭 데이터에서 비중앙화 방법은 중심화 방법 대비 정보를 얼마나 유지하거나 손실하는가?

주요 결과

• 중심화된 그람 행렬 $\mathbf{K}_c$ 와 비중앙화된 $\mathbf{K}$ 의 고유값은 상호 끼워맞춤 성질을 만족한다: $i=2,\dots,n$ 에 대해 $\lambda_{\mathrm{c},i} \leq \lambda_i \leq \lambda_{\mathrm{c},i-1}$ 이며, $\lambda_{\mathrm{c},1} \geq \lambda_1$ 이다.
• 아카이브 데이터셋($n=150$)에서, $\mathbf{K}_c$ 의 첫 번째 $t$ 개 고유값의 누적합은 비중앙화된 대응항 $d_i'$ 를 초과하며, $t=n$ 에서는 등호가 성립한다.
• 바나나 모양의 데이터셋에서, $\mathbf{K}_c$ 와 $\mathbf{K}$ 의 고유값은 상호 끼워맞추어지며, 예를 들어 $10.17 \leq 15.18 \leq 15.23 \leq 26.73 \leq 31.33 \leq 47.61 \leq 47.62 \leq 84.51$ 이다.
• 중심화된 $\mathbf{K}_c$ 의 가장 큰 고유벡터는 $\mathbf{K}$ 의 어떤 고유벡터보다 더 많은 분산을 포괄하며, $\max_i d_i' \leq \lambda_{\mathrm{c},1}$ 이다. 여기서 $d_i'$ 는 $\mathbf{K}$ 에서 조정된 고유값이다.
• $\mathbf{K}_c$ 와 $\mathbf{K}$ 의 고유벡터는 데이터 평균 $\boldsymbol{\mu}$ 와 고유벡터가 全-일치 벡터에 투영된 결과를 포함하는 변환을 통해 관련되어 있다.
• 실험 결과, 비중앙화된 주성분 분석이 비음수 데이터에서 특징 표현을 유지하거나 심지어 향상시킬 수 있음을 보여주며, 이는 고분광 분해 또는 유전자 발현 분석과 같은 분야에서 유의미하다.