[논문 리뷰] Manifold Learning Using Kernel Density Estimation and Local Principal Components Analysis

Kitty Mohammed, Hariharan Narayanan|arXiv (Cornell University)|2017. 09. 11.

Face and Expression Recognition참고 문헌 14인용 수 10

한 줄 요약

이 논문은 잡음이 없는 균일하게 샘플링된 데이터로부터 두 가지 새로운 근사 제곱거리 함수(asdf)를 사용하여 증명 가능하게 부드러운 다중광학적 추정기(manifold estimator)를 구성하는 다중광학적 학습 방법을 제안한다: 하나는 커널 밀도 추정(KDE) 기반이고, 다른 하나는 국소 주성분 분석(PCA) 기반이다. 이 방법은 출력된 다중광학이 하우스도르프 거리에서 참 다중광학과 임의로 가까이 있도록 보장하며, 유한한 도약(의지)을 가지며, 은닉 함수 정리와 Fefferman 등(2016)의 결과로부터 이론적 보장을 받는다.

ABSTRACT

We consider the problem of recovering a $d-$dimensional manifold $\mathcal{M} \subset \mathbb{R}^n$ when provided with noiseless samples from $\mathcal{M}$. There are many algorithms (e.g., Isomap) that are used in practice to fit manifolds and thus reduce the dimensionality of a given data set. Ideally, the estimate $\mathcal{M}_\mathrm{put}$ of $\mathcal{M}$ should be an actual manifold of a certain smoothness; furthermore, $\mathcal{M}_\mathrm{put}$ should be arbitrarily close to $\mathcal{M}$ in Hausdorff distance given a large enough sample. Generally speaking, existing manifold learning algorithms do not meet these criteria. Fefferman, Mitter, and Narayanan (2016) have developed an algorithm whose output is provably a manifold. The key idea is to define an approximate squared-distance function (asdf) to $\mathcal{M}$. Then, $\mathcal{M}_\mathrm{put}$ is given by the set of points where the gradient of the asdf is orthogonal to the subspace spanned by the largest $n - d$ eigenvectors of the Hessian of the asdf. As long as the asdf meets certain regularity conditions, $\mathcal{M}_\mathrm{put}$ is a manifold that is arbitrarily close in Hausdorff distance to $\mathcal{M}$. In this paper, we define two asdfs that can be calculated from the data and show that they meet the required regularity conditions. The first asdf is based on kernel density estimation, and the second is based on estimation of tangent spaces using local principal components analysis.

연구 동기 및 목표

• 기존의 다중광학 학습 알고리즘이 참으로 존재하는 다중광학에 가까운 결과를 도출하지 못하는 한계를 해결하기 위해.
• Fefferman 등(2016)의 증명 가능한 다중광학 복원을 위한 정규성 조건을 만족하는 데이터 기반 asdf를 제공하기 위해.
• KDE 기반 및 국소 PCA 기반 asdf가 모두 부드러운 다중광학을 생성하며, 유한한 도약과 하우스도르프 거리에서 참 다중광학으로 수렴함을 보여주기 위해.
• 피에르프만 등(2016)의 알고리즘을 완전한 검색 없이 직접 데이터로부터 asdf를 계산함으로써 실용적이고 비완전한 대안을 제공하기 위해.
• 원주, 3차원 곡선, 그리고 구에서의 시뮬레이션을 통해 실증적으로 방법을 검증하여 다중광학 복원에서 낮은 RMS 오차를 보여주기 위해.

제안 방법

• 데이터로부터 두 가지 근사 제곱거리 함수(asdf)를 정의한다: 하나는 커널 밀도 추정(KDE)을 통해, 다른 하나는 국소 PCA를 통해 탄성 공간을 근사한다.
• 각 asdf의 기울기와 헤시안을 사용하여, 기울기가 헤시안의 가장 큰 $n-d$ 고유벡터들이 생성하는 부분공간과 수직인 점을 식별한다.
• Ozertem 및 Erdogmus(2011) 기반의 부분공간 제약 기울기 하강법을 적용하여 점들을 점차적으로 추정된 다중광학으로 이동시킨다.
• 수직 조건을 만족하는 점들의 집합으로 최종 추정기 $\mathcal{M}_{\text{put}}$을 구성하여, 이가 유한한 도약을 가지는 다중광학임을 보장한다.
• 은닉 함수 정리와 Fefferman 등(2016)의 이론적 결과를 활용하여 $\mathcal{M}_{\text{put}}$의 하우스도르프 거리와 도약에 대한 경계를 유도한다.
• 노이즈가 있는 샘플 점들의 메쉬를 기울기 하강법의 초기화로 사용하며, 수렴 여부는 허용 오차 조건을 통해 모니터링한다.

실험 결과

연구 질문

• RQ1 커널 밀도 추정을 사용하여 증명 가능한 다중광학 복원을 위한 정규성 조건을 만족하는 asdf를 구성할 수 있는가?
• RQ2 국소 주성분 분석이 잡음이 없는 균일하게 샘플링된 데이터로부터 다중광학을 추정하는 데 신뢰할 수 있는 asdf를 제공할 수 있는가?
• RQ3 결과로 도출된 다중광학 추정기 $\mathcal{M}_{\text{put}}$은 유한한 도약을 가지며, 하우스도르프 거리에서 참 다중광학 $\mathcal{M}$으로 수렴하는가?
• RQ4 유한 샘플 시뮬레이션에서 KDE 기반과 국소 PCA 기반 asdf는 정확도와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 Fefferman 등(2016)의 이론적 보장이 완전한 검색 없이 실용적이고 데이터 기반의 asdf로 구현될 수 있는가?

주요 결과

• KDE 기반 asdf는 참 원주에서 평균 RMS 거리 0.000433, 3차원 곡선에서 0.000990, 그리고 구에서 0.00221을 기록한다.
• 국소 PCA 기반 asdf는 원주에서 평균 RMS 거리 0.000146, 3차원 곡선에서 0.000453, 그리고 구에서 0.000603을 기록한다.
• 추정된 다중광학 $\mathcal{M}_{\text{put}}$과 참 다중광학 $\mathcal{M}$ 사이의 하우스도르프 거리는 $O(\widebar{\tau}^2)$이다. 여기서 $\widebar{\tau}$는 데이터에 따라 결정되는 매개변수이다.
• 추정된 다중광학 $\mathcal{M}_{\text{put}}$은 $C^2$ 다중광학이며, $c\widebar{\tau}$ 이하로 아래bound된 도약을 보장한다. 여기서 $c$는 모델 매개변수에 따라 달라진다.
• 피에르프만 등(2016)의 방법에서 요구하는 완전한 검색을 피하기 위해, 직접적으로 KDE와 국소 PCA를 사용하여 데이터로부터 asdf를 계산한다.
• 이론적 분석은 $\mathcal{M}_{\text{put}}$이 유한한 부드러움을 가지며, 표본 크기가 증가함에 따라 참 다중광학 $\mathcal{M}$으로 하우스도르프 거리에서 수렴함을 확인한다.