[논문 리뷰] Kernels on Sample Sets via Nonparametric Divergence Estimates

Danica J. Sutherland, Liang Xiong외 2명|arXiv (Cornell University)|2012. 02. 01.

Face and Expression Recognition참고 문헌 62인용 수 17

한 줄 요약

이 논문은 k-NN 기반의 산점 추정기법을 사용하여 확률 분포 간의 커널 함수를 추정하는 비모수적 커널 방법을 제안한다. 이는 커널 머신이 데이터 포인트의 집합을 분포로 간주하여 작동하도록 하여, 밀도 추정 없이 일관된 추정을 가능하게 하며, 분포 수준의 데이터에서 분류, 회귀, 이상 탐지, 다양체 학습 등에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most machine learning algorithms, such as classification or regression, treat the individual data point as the object of interest. Here we consider extending machine learning algorithms to operate on groups of data points. We suggest treating a group of data points as an i.i.d. sample set from an underlying feature distribution for that group. Our approach employs kernel machines with a kernel on i.i.d. sample sets of vectors. We define certain kernel functions on pairs of distributions, and then use a nonparametric estimator to consistently estimate those functions based on sample sets. The projection of the estimated Gram matrix to the cone of symmetric positive semi-definite matrices enables us to use kernel machines for classification, regression, anomaly detection, and low-dimensional embedding in the space of distributions. We present several numerical experiments both on real and simulated datasets to demonstrate the advantages of our new approach.

연구 동기 및 목표

• 각 그룹을 잠재 분포에서의 표본 집합으로 간주함으로써 커널 머신이 데이터 포인트의 집합에서 작동하도록 확장한다.
• 기존의 벡터화 방법이 실패하거나 편향을 유발할 수 있는 경우, 데이터 포인트 집합을 기계 학습의 특징으로 표현하는 데 도전한다.
• 밀도 추정이 필요 없이 오직 k-NN 거리만을 사용하여 분포 간 커널 함수에 대한 일관된 비모수적 추정기법을 개발한다.
• 분류, 회귀, 이상 탐지, 차원 축소와 같은 지도 및 비지도 학습 작업을 분포의 공간에서 수행할 수 있도록 한다.

제안 방법

• k-NN 거리 기반으로 분산 추정기법을 사용하여 분포 간 커널 함수를 비모수적으로 추정한다.
• f-분산의 변분 특성화를 적용하여 밀도 추정 없이도 일관된 추정기법을 유도한다.
• 커널 머신의 유효성을 확보하기 위해 추정된 그램 행렬을 대칭 정반정행렬의 원소로 사영한다.
• 비모수적 분산 추정을 통해 선형, 다항식, 가우시안 커널을 분포에 적용할 수 있는 일반화된 커널 프레임워크를 활용한다.
• SVM에 추정된 커널 행렬을 적용하여 분류 및 회귀를 수행하고, LLE에 적용하여 분포의 저차원 임베딩을 수행한다.
• 실제 및 시뮬레이션 데이터를 통해 방법의 타당성을 검증하였으며, 이미지 에지 집합과 기울인 가우시안 분포를 포함하여 강건성과 일관성을 입증하였다.

실험 결과

연구 질문

• RQ1 데이터 포인트의 집합을 잠재 분포에서의 표본 집합으로 모델링함으로써 커널 머신이 효과적으로 데이터 포인트의 집합에서 작동하도록 확장할 수 있는가?
• RQ2 밀도 추정이 필요 없이 유한한 i.i.d. 표본 집합에서 분포 간 커널 함수를 어떻게 일관되게 추정할 수 있는가?
• RQ3 k-NN 거리 기반의 비모수적 분산 추정기법이 분포 수준의 학습에서 파라미터적 또는 밀도 기반 커널 추정 방법보다 우월한가?
• RQ4 기존의 점 기반 방법에 비해 분포 기반 커널 머신이 이상 탐지 및 다양체 학습과 같은 작업에서 성능을 얼마나 향상시킬 수 있는가?
• RQ5 특징 또는 이미지의 집합을 입력으로 받을 때, 분포 수준의 회귀 및 임베딩이 국소 기하학적 구조를 유지할 수 있는가?

주요 결과

• 표본 집합에서 베타(a,3) 분포의 비대칭도를 학습하는 데 테스트 RMSE가 0.012로 나타나 비모수적 회귀에서 높은 정확도를 입증하였다.
• 기울인 2차원 가우시안의 1차원 마진 분포의 엔트로피 추정에서 테스트 RMSE가 0.058을 기록하여 복잡한 분포 회귀에서의 강건성을 입증하였다.
• 에지 검출된 이미지 간 유클리드 거리가 실패한 것과는 달리, 분포 기반의 국소 선형 임베딩(LLE)은 기울인 가우시안 분포의 국소 기하학적 구조를 성공적으로 유지하였다.
• COIL-100 데이터셋에서, 에지 검출된 이미지의 분포 수준 표현을 사용한 LLE는 인접한 회전을 인접한 점들로 올바르게 임베딩한 반면, 표준 LLE는 실패하였다.
• 제안된 비모수적 커널 추정기법은 일관된 밀도 추정이 필요 없으며, 약한 정규성 조건 하에서 일관된 커널 추정을 제공하며, 진정한 분포가 가우시안 가족 외부에 속할 경우 파라미터적 대안보다 뛰어난 성능을 보였다.
• 이 방법은 LLE를 분포로 일반화하여 분포 데이터의 효과적인 저차원 임베딩을 가능하게 하며, 내재된 기하학적 구조를 유지한다.