[논문 리뷰] Local Component Analysis

Nicolas Le Roux, Francis Bach|arXiv (Cornell University)|2011. 09. 01.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 5

한 줄 요약

이 논문은 국소적 구성 요소 분석(Local Component Analysis)을 제안하며, 비모수적 밀도 추정의 과적합 문제를 완화하고, 스펙트럼 클러스터링과 같은 국소적 거리 기반 학습 기법의 성능을 향상시키기 위해 기대치 기반 최대화(EM)를 통해 전체 유클리드 거리 척도를 학습하는 비모수적 방법을 개발한다. 반젠 창 모델과 결합된 반모수적 가우시안-파르젠 모델을 사용하고, 행렬 역행렬과 고유값 분해를 통한 폐쇄형 업데이트를 적용함으로써, 경쟁 기법들보다 높은 테스트 우도를 달성하며, 국소적 거리 기반 학습 기법의 성능을 향상시킨다.

ABSTRACT

Kernel density estimation, a.k.a. Parzen windows, is a popular density estimation method, which can be used for outlier detection or clustering. With multivariate data, its performance is heavily reliant on the metric used within the kernel. Most earlier work has focused on learning only the bandwidth of the kernel (i.e., a scalar multiplicative factor). In this paper, we propose to learn a full Euclidean metric throughanexpectation-minimisation(EM)procedure, which can be seen as an unsupervised counterpart to neighbourhood component analysis (NCA). In order to avoid overfitting with a fully nonparametric density estimator in high dimensions, we also consider a semi-parametric Gaussian-Parzen density model, where some of the variables are modelled through a jointly Gaussian density, while others are modelled through Parzen windows. For these two models, EM leads to simple closed-form updates based on matrix inversions and eigenvalue decompositions. We show empirically that our method leads to density estimators with higher test-likelihoods than natural competing methods, and that the metrics may be used within most unsupervised learning techniques that rely on local distances, such as spectral clustering or manifold learning methods. Finally, we present a stochastic approximation scheme which allows for the use of this method in a large-scale setting. 1

연구 동기 및 목표

• 비모수적 밀도 추정에서 과적합 문제를 완화하기 위해, 밴드폭 외에도 전체 유클리드 거리 척도를 학습함으로써 고차원 다변량 데이터에서 커널 밀도 추정을 향상시키는 것.
• 모수적 및 비모수적 구성 요소를 조합한 반모수적 가우시안-파르젠 모델을 도입하여 비모수적 밀도 추정에서의 과적합 문제를 해결하는 것.
• 스펙트럼 클러스터링이나 다양체 학습과 같이 국소적 거리에 의존하는 다양한 비모수적 학습 기법에 학습된 거리 척도를 적용할 수 있도록 하는 것.
• 미니배치로 데이터를 처리하는 스트로스틱 근사 기법을 통해 대규모 데이터셋에 대한 실용적 구현을 가능하게 하여 방법의 확장성을 높이는 것.

제안 방법

• 기대치 기반 최대화(EM) 절차를 사용하여 파르젠 창 밀도 추정에 적합한 전체 유클리드 거리 척도와 밴드폭을 동시에 학습한다.
• 일부 변수는 함께 가우시안 분포로 모델링하고, 다른 변수는 파르젠 창을 통해 모델링하는 반모수적 모델을 도입하여 고차원에서의 과적합을 줄인다.
• 행렬 역행렬과 고유값 분해를 사용하여 EM 업데이트를 폐쇄형으로 유도함으로써 효율적인 최적화를 가능하게 한다.
• 학습된 거리 척도는 스펙트럼 클러스터링 또는 라플라시안 고유사상과 같이 국소적 거리에 의존하는 모든 비모수적 학습 기법과 호환되도록 설계된다.
• 데이터를 미니배치로 처리하는 스트로스틱 근사 기법을 제안하여 대규모 데이터셋에 대한 적용을 확장한다.
• 이 방법은 국소적 구성 요소 분석(NCA)의 비모수적 동반자로 간주되며, 분류가 아닌 밀도 추정에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 밴드폭 외에 전체 유클리드 거리 척도를 학습하는 것이 밴드폭만 학습하는 것보다 커널 밀도 추정의 성능을 향상시키는가?
• RQ2 반모수적 가우시안-파르젠 모델은 고차원 밀도 추정에서 과적합을 어떻게 완화하는가?
• RQ3 학습된 거리 척도는 스펙트럼 클러스터링이나 다양체 학습과 같은 후행 비모수적 학습 작업에서 어느 정도 향상시키는가?
• RQ4 스트로스틱 근사 기법을 사용하여 기대치 기반 최대화(EM) 최적화를 대규모 데이터셋에 스케일링할 수 있는가?
• RQ5 제안된 방법은 기존의 밀도 추정 및 거리 척도 학습 기준선보다 더 높은 테스트 우도를 달성하는가?

주요 결과

• 제안된 방법은 자연스러운 경쟁 기법들보다 더 높은 테스트 우도를 달성하여, 밀도 추정 성능 향상이 입증되었다.
• 학습된 거리 척도는 스펙트럼 클러스터링이나 다각형 학습과 같은 국소적 거리 기반 비모수적 학습 기법의 성능을 크게 향상시켰다.
• EM 절차는 행렬 역행렬과 고유값 분해를 기반으로 한 폐쇄형 업데이트를 제공하여 효율적이고 안정적인 최적화를 가능하게 하였다.
• 반모수적 가우시안-파르젠 모델은 모수적 및 비모수적 구성 요소를 조합함으로써 고차원 환경에서의 과적합을 효과적으로 감소시켰다.
• 스트로스틱 근사 기법을 통해 대규모 데이터셋에 대한 적용이 확장되었으며, 계산 비용을 줄이면서도 성능을 유지하였다.
• 이 방법은 밀도 추정 및 이상치 탐지에 초점을 맞춘 비모수적 NCA의 실용적인 대안으로서의 가능성을 입증하였다.