[논문 리뷰] Nonparametric Divergence Estimation with Applications to Machine Learning on Distributions

Barnabás Póczos, Liang Xiong외 1명|arXiv (Cornell University)|2012. 02. 14.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 63

한 줄 요약

이 논문은 i.i.d. 표본을 사용하여 확률 분포 간의 발산을 비모수적 방법으로 추정하는 방법을 제안하며, 분포 기반 기계학습 작업인 군집화, 분류, 이상 탐지에 활용할 수 있다. k-최근접 이웃 밀도 추정기와 커널 기반 발산 추정을 활용하여 합성 데이터, 이미지 및 천문학적 데이터에서 강건하고 확장 가능한 성능을 달성한다.

ABSTRACT

Low-dimensional embedding, manifold learning, clustering, classification, and anomaly detection are among the most important problems in machine learning. The existing methods usually consider the case when each instance has a fixed, finite-dimensional feature representation. Here we consider a different setting. We assume that each instance corresponds to a continuous probability distribution. These distributions are unknown, but we are given some i.i.d. samples from each distribution. Our goal is to estimate the distances between these distributions and use these distances to perform low-dimensional embedding, clustering/classification, or anomaly detection for the distributions. We present estimation algorithms, describe how to apply them for machine learning tasks on distributions, and show empirical results on synthetic data, real word images, and astronomical data sets.

연구 동기 및 목표

• 고정된 유한 차원의 벡터가 아닌 분포 기반 기계학습을 수행하는 데 도전하는 문제를 해결한다.
• 데이터 인스턴스가 확률 분포일 경우 저차원 임bedding, 군집화, 분류 및 이상 탐지 기능을 가능하게 한다.
• 알 수 없는 연속 분포에서의 i.i.d. 표본을 기반으로 작동하는 비모수적 발산 추정 프레임워크를 개발한다.
• 모수적 가정 없이 분포 간 통계적 거리 측정을 위한 확장 가능하고 강건한 방법을 제공한다.
• 이상 유형의 분야, 예를 들어 이미지 및 천문학적 데이터 세트를 포함한 다양한 분야에 적용 가능성을 입증한다.

제안 방법

• i.i.d. 표본으로부터 각 분포의 밀도를 비모수적으로 근사하기 위해 k-최근접 이웃(k-NN) 밀도 추정을 사용한다.
• 국소 밀도 비율에서 유도된 커널 기반 추정기를 사용하여 Kullback-Leibler 발산 및 f-발산과 같은 발산을 추정한다.
• 명시적인 밀도 모델이 필요 없이 최근접 이웃 기반 접근법을 통해 두 분포 간의 발산을 추정한다.
• 하류 기계학습 작업을 위해 추정된 발산을 기반으로 분포 간의 거리 행렬을 구성한다.
• 표준 알고리즘을 통해 차원 축소(MDS 등), 군집화 및 분류를 위해 추정된 거리 행렬을 활용한다.
• 강력한 모수적 가정을 피하는 비모수적 기법을 통해 확장성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 i.i.d. 표본으로부터 알 수 없는 연속 확률 분포 간의 거리를 비모수적 발산 추정으로 효과적으로 측정할 수 있는가?
• RQ2 이러한 발산 추정은 분포의 저차원 임베딩과 군집화에 얼마나 잘 작동하는가?
• RQ3 이러한 방법은 이미지 및 천문학적 데이터 세트와 같은 실제 데이터에 대해 어떤 성능을 보이는가?
• RQ4 정확성과 강건성 측면에서 기존의 모수적 또는 다른 비모수적 접근법과 비교해 볼 때 어떻게 성능을 내는가?
• RQ5 추정된 발산은 분포 기반 기계학습에서 이상 탐지에 신뢰성 있게 활용될 수 있는가?

주요 결과

• 제안된 비모수적 발산 추정 방법은 제한된 i.i.d. 표본 조건에서도 분포 간의 정확한 거리 추정을 달성한다.
• 추정된 발산 행렬을 기반으로 다차원 척도법(MDS)을 사용한 분포의 효과적인 저차원 임베딩이 가능하다.
• 합성 데이터 및 실제 이미지 데이터 세트에서 분포 수준의 데이터에 대한 군집화 및 분류 작업에서 뛰어난 성능을 보였다.
• 이상 탐지 실험을 통해 다수의 분포에서 벗어난 분포를 발산 기반으로 효과적으로 식별할 수 있었다.
• 천문학적 데이터 세트에 대한 실증 결과는 고차원이고 실제적인 환경에서의 방법의 강건성과 확장 가능성을 확인했다.
• k-NN 기반의 발산 추정기는 다양한 데이터 유형과 분포 형태 전반에서 일관된 성능을 보였다.