[논문 리뷰] The empirical Christoffel function with applications in Machine Learning

Jean B. Lasserre, Edouard Pauwels|arXiv (Cornell University)|2017. 01. 11.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 6

한 줄 요약

이 논문은 기계학습에서 확률 측도의 지지역과 이상치 탐지를 추정하기 위해 경험적 크리스토펠 함수를 도구로 도입한다. 점점 커지는 표본 크기에서의 점근적 일致성을 활용하여, 모멘트 기반 지지역 복원을 위한 임계값 설정 기법을 제안하고, 밀도 추정, 신규성 탐지, 애핀 일치 문제에서 강력한 이론적 보장과 실용적 유용성을 입증한다. 실제 및 시뮬레이션 데이터를 바탕으로 한 실험을 통해 성능을 검증한다.

ABSTRACT

We illustrate the potential applications in machine learning of the Christoffel function, or more precisely, its empirical counterpart associated with a counting measure uniformly supported on a finite set of points. Firstly, we provide a thresholding scheme which allows to approximate the support of a measure from a finite subset of its moments with strong asymptotic guaranties. Secondly, we provide a consistency result which relates the empirical Christoffel function and its population counterpart in the limit of large samples. Finally, we illustrate the relevance of our results on simulated and real world datasets for several applications in statistics and machine learning: (a) density and support estimation from finite samples, (b) outlier and novelty detection and (c) affine matching.

연구 동기 및 목표

• 유한한 모멘트로부터 측도의 지지역을 강력한 점근적 일치성으로 근사하는 임계값 설정 기법을 개발하는 것.
• 표본 크기가 커질수록 경험적 크리스토펠 함수와 그 모집단 대응체 사이의 이론적 연결 고리를 확립하는 것.
• 밀도 추정, 이상치 탐지, 애핀 일치와 같은 기계학습 응용 분야에서의 실용적 유용성을 입증하는 것.
• 근사 이론에 기반한 모멘트 기반 방법을 바탕으로 지지역과 밀도 추정을 위한 통합 프레임워크를 제공하는 것.

제안 방법

• 유한한 데이터 포인트 집합 위에 균일하게 분포된 수세기 측도로부터 유도된 경험적 크리스토펠 함수를 사용한다.
• 유한한 모멘트로부터 알려지지 않은 측도의 지지역을 식별하기 위해 경험적 크리스토펠 함수 기반의 임계값 규칙을 적용한다.
• 표본 크기가 증가함에 따라 경험적 크리스토펠 함수가 모집단 형태와 거의 확실히 수렴함을 보장한다.
• 핵 함수 기반 및 다항식 근사 기법을 활용하여 크리스토펠 함수와 밀도 및 지지역 추정 간의 관계를 규명한다.
• 경험적 크리스토펠 함수의 값이 비정상적으로 낮은 점들을 이상치로 식별하여 이론적 이상치 탐지에 통합한다.
• 점군 간 기하학적 일致성을 함수 값으로 측정함으로써 크리스토펠 함수를 애핀 일치 문제에 적응시킨다.

실험 결과

연구 질문

• RQ1 유한한 모멘트로부터 경험적 크리스토펠 함수를 사용해 측도의 지지역을 점근적으로 일관되게 복원할 수 있는가?
• RQ2 표본 크기가 증가함에 따라 경험적 크리스토펠 함수는 어떻게 그 모집단 대응체로 수렴하는가?
• RQ3 유한 표본에서 크리스토펠 함수는 이상치 및 새로운 데이터 포인트를 어느 정도 정확하게 탐지할 수 있는가?
• RQ4 유한한 데이터로부터 크리스토펠 함수는 분포의 지지역과 밀도를 어느 정도 정확하게 추정할 수 있는가?
• RQ5 기계학습 작업에서 점군 간 애핀 일치 문제를 크리스토펠 함수를 활용해 해결할 수 있는가?

주요 결과

• 제안된 임계값 설정 기법은 유한한 모멘트로부터 측도의 지지역을 복원하는 데 있어 강력한 점근적 보장을 제공한다.
• 표본 크기가 무한으로 갈수록 경험적 크리스토펠 함수는 거의 확실히 모집단 크리스토펠 함수로 수렴한다.
• 모의 및 실제 데이터 세트에서 밀도 및 지지역 추정에 있어 높은 정확도를 달성하였으며, 특정 환경에서는 기준 기법보다 뛰어난 성능을 보였다.
• 크리스토펠 함수 기반 이상치 탐지는 밀도가 낮은 영역에 민감하여 높은 정밀도로 이상치를 식별한다.
• 크리스토펠 함수를 활용한 애핀 일치 방법은 노이즈와 부분적 대응 관계에 대해 뛰어난 내성성을 보였다.
• 이론적 및 실증적 결과는 경험적 크리스토펠 함수가 통계적 학습 및 데이터 분석에서 다재다능한 도구로 유용하다는 것을 확인한다.