[논문 리뷰] On Nonlinear Dimensionality Reduction, Linear Smoothing and Autoencoding

Daniel Ting, Michael I. Jordan|arXiv (Cornell University)|2018. 03. 06.

Optical Polarization and Ellipsometry참고 문헌 15인용 수 8

한 줄 요약

이 논문은 통계학의 선형 스무딩 이론과 비선형 차원 축소(NLDR) 방법을 이론적으로 연결하는 프레임워크를 수립하며, 수렴하는 局소 스펙트럼 NLDR 방법이 특정 경계 조건을 갖는 미분방정식을 渐近적으로 해석함을 보여준다. 주요 NLDR 방법을 분류하는 데 사용되는 세 가지 극한 미분 연산자와 경계 조건을 규명하고, 고립된 임베딩에서 국소 탄성 공간 정렬(LTSA)이 고전적 방법들 중에서 우월함을 증명한다.

ABSTRACT

We develop theory for nonlinear dimensionality reduction (NLDR). A number of NLDR methods have been developed, but there is limited understanding of how these methods work and the relationships between them. There is limited basis for using existing NLDR theory for deriving new algorithms. We provide a novel framework for analysis of NLDR via a connection to the statistical theory of linear smoothers. This allows us to both understand existing methods and derive new ones. We use this connection to smoothing to show that asymptotically, existing NLDR methods correspond to discrete approximations of the solutions of sets of differential equations given a boundary condition. In particular, we can characterize many existing methods in terms of just three limiting differential operators and boundary conditions. Our theory also provides a way to assert that one method is preferable to another; indeed, we show Local Tangent Space Alignment is superior within a class of methods that assume a global coordinate chart defines an isometric embedding of the manifold.

연구 동기 및 목표

• 비선형 차원 축소(NLDR) 방법을 이해하기 위한 통합 이론적 프레임워크를 개발하기 위해.
• 기존 NLDR 방법들 간의 관계와 상대적 성능, 특히 고립된 임베딩 측면에서의 성능을 명확히 하기 위해.
• NLDR를 통계학적 선형 스무딩 이론과 연결하여 새로운 이론적 통찰과 알고리즘 개선을 가능하게 하기 위해.
• 경계 조건이 없더라도 스무딩 페널티 수렴성을 유지하는 일관된 라플라스-벨트라미 근사법을 유도하기 위해.
• 경계 행동 및 수렴성 등의 이론적 성질에 기반해 방법 비교 및 선택을 가능하게 하기 위해.

제안 방법

• NLDR 행렬과 선형 스무딩기 간의 연결을 활용하여, 임베딩을 경계 조건이 있는 미분방정식의 해로 해석한다.
• 근접한 이웃의 크기가 감소함에 따라 국소적이고 스펙트럼적인 NLDR 방법의 점근적 행동을 분석하며, 이를 미분 연산자의 이산적 근사로 간주한다.
• 세 가지 극한 미분 연산자인 계수 라플라시안(Coefficient Laplacian), LLR-라플라시안, 확산 맵 유형 연산자를 식별하고, 각각 고유한 경계 조건을 갖는다.
• 국소 선형 회귀를 통해 계수 라플라시안을 유도하여 기울기를 추정함으로써 자기수반성(self-adjointness)과 모든 미분 가능한 함수에 대해 일관된 스무딩 페널티 수렴성을 보장한다.
• 스무딩 이론에서의 경계 편향 이론을 적용하여, 경계 조건을 충족하지 못할 경우 수렴 실패를 특성화한다.
• 유도된 연산자의 스펙트럼 분해를 통해 임베딩 행동을 분석하고 방법 간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기존 NLDR 방법들을 그들의 극한 미분 연산자와 경계 조건에 기반해 체계적으로 분류할 수 있는가?
• RQ2 왜 국소 탄성 공간 정렬(LTSA)이 다양체의 고립된 임베딩을 복원하는 데 다른 NLDR 방법들보다 뛰어난가?
• RQ3 경계 조건이 충족되지 않더라도 스무딩 페널티 수렴성을 유지하는 라플라스-벨트라미 근사법을 구성할 수 있는가?
• RQ4 경계 편향은 NLDR 방법의 수렴성과 성능에 어떤 역할을 하는가?
• RQ5 선형 스무딩 이론에서의 통찰을 활용해 NLDR 알고리즘을 개선하거나 새로운 알고리즘을 설계할 수 있는가?

주요 결과

• LTSA는 고립된 임베딩에서 다른 고전적 NLDR 방법들보다 이론적으로 열등하지 않으며, 최적의 경계 조건을 갖는 극한 미분 연산자에 해당한다.
• 헤시안 LLE(HLLE)는 LTSA와 같은 클래스에 속하며 동일한 극한으로 수렴하므로, 스무딩 페널티로서 상호 교환 가능하다.
• 계수 라플라시안은 경계 조건을 충족하지 않더라도 모든 $ C^\infty(\mathcal{M}) $ 함수에 대해 $ f^T L f \to \|\nabla f\|^2 $ 수렴성을 보장한다.
• 기존의 라플라시안 근사법은 함수가 강제된 경계 조건을 충족하지 못할 경우 균일하게 수렴하지 않아 신뢰할 수 없는 임베딩을 유도한다.
• LTSA와 관련된 선형 스무딩기는 내부에서 $ O(h^4) $ 편향을 달성하며, 표준 국소 선형 회귀의 $ O(h^2) $ 편향을 초월한다.
• 이론적 분석에 따르면, 경계 조건을 충족하지 못할 경우 $ L_h^* L_h f $ 가 $ h \to 0 $ 일 때 발산함을 보여, 스무딩 연산자의 불안정성을 시사한다.