[논문 리뷰] Foundations of Coupled Nonlinear Dimensionality Reduction

Dmitry Storcheus, Mehryar Mohri외 1명|arXiv (Cornell University)|2015. 09. 29.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 다양체 학습과 지도 학습을 통합하는 프레임워크인 결합된 비선형 차원 축소를 소개한다. 라데마처 복잡도를 사용하여 새로운 일반화 경계를 수립하며, $ widetilde{O}( extstyle\sqrt{\Lambda_{(r)}/m})$의 상한을 도출한다. 여기서 $ Lambda_{(r)}$는 커널 행렬의 키-판 $r$-노름이며, 저차원 다양체와 그 위의 분리 함수를 동시에 학습하는 구조적 리스크 최소화 알고리즘을 제안한다.

ABSTRACT

In this paper we introduce and analyze the learning scenario of \emph{coupled nonlinear dimensionality reduction}, which combines two major steps of machine learning pipeline: projection onto a manifold and subsequent supervised learning. First, we present new generalization bounds for this scenario and, second, we introduce an algorithm that follows from these bounds. The generalization error bound is based on a careful analysis of the empirical Rademacher complexity of the relevant hypothesis set. In particular, we show an upper bound on the Rademacher complexity that is in $\widetilde O(\sqrt{\Lambda_{(r)}/m})$, where $m$ is the sample size and $\Lambda_{(r)}$ the upper bound on the Ky-Fan $r$-norm of the associated kernel matrix. We give both upper and lower bound guarantees in terms of that Ky-Fan $r$-norm, which strongly justifies the definition of our hypothesis set. To the best of our knowledge, these are the first learning guarantees for the problem of coupled dimensionality reduction. Our analysis and learning guarantees further apply to several special cases, such as that of using a fixed kernel with supervised dimensionality reduction or that of unsupervised learning of a kernel for dimensionality reduction followed by a supervised learning algorithm. Based on theoretical analysis, we suggest a structural risk minimization algorithm consisting of the coupled fitting of a low dimensional manifold and a separation function on that manifold.

연구 동기 및 목표

• 결합된 비선형 차원 축소의 학습 시나리오를 정식화하고 분석하는 것.
• 이 통합 학습 파이프라인에 대한 최초의 일반화 오차 경계를 제공하여 이론적 이해의 격차를 메우는 것.
• 커널 행렬의 키-판 $r$-노름을 기반으로 한 날카운 상한과 하한을 통해 가설 집합 선택의 타당성을 정당화하는 것.
• 고정 커널을 사용한 지도 학습 기반 차원 축소 및 비지도 커널 학습 이후 지도 예측과 같은 특수 케이스로 이론적 보장을 확장하는 것.
• 유도된 경계에 기반하여 다양체 학습과 분류 학습을 동시에 최적화하는 실용적인 알고리즘을 도출하는 것.

제안 방법

• 결합된 차원 축소 모델의 가설 집합에 대해 경험적 라데마처 복잡도를 사용하여 일반화 경계를 유도한다.
• 라데마처 복잡도를 커널 행렬의 키-판 $r$-노름 $\Lambda_{(r)}$로 분석하여 $\widetilde{O}(\textstyle\sqrt{\Lambda_{(r)}/m})$의 상한을 확립한다.
• 라데마처 복잡도에 대한 상한과 하한을 제시하여 가설 집합 정의의 타당성과 $\Lambda_{(r)}$ 기반의 날카로움을 검증한다.
• 저차원 다양체 임bedding과 다양체 위의 지도 분류기 모두를 동시에 최적화하는 구조적 리스크 최소화 알고리즘을 제안한다.
• 유도된 경계에 기반하여 결합된 다양체와 함수 공간에서 정규화된 경험 리스크를 최소화하는 학습 목표를 설정한다.
• 이론적 적용 가능성을 지도 및 비지도 커널 학습 설정 모두에 보장하여 차원 축소 파이프라인에서 널리 활용 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형 차원 축소와 그 이후의 지도 학습을 통합한 머신러닝 파이프라인의 일반화 오차 행동은 어떻게 되는가?
• RQ2 라데마처 복잡도를 사용하여 결합된 차원 축소에서의 가설 집합 복잡도를 어떻게 측정하고 경계할 수 있는가?
• RQ3 커널 행렬의 키-판 $r$-노름은 결합된 학습 프레임워크의 일반화 오차를 어떻게 제어하는가?
• RQ4 결합된 차원 축소에 대한 이론적 보장은 고정 커널 또는 비지도 커널 학습 케이스로 확장될 수 있는가?
• RQ5 일반화 경계에서 유도된 원칙적인 알고리즘을 통해 다양체 학습과 분류를 동시에 최적화할 수 있는가?

주요 결과

• 논문은 결합된 비선형 차원 축소에 대한 최초의 일반화 경계를 수립하며, 라데마처 복잡도의 상한이 $\widetilde{O}(\textstyle\sqrt{\Lambda_{(r)}/m})$임을 도출한다. 여기서 $m$은 샘플 크기이고, $\Lambda_{(r)}$는 커널 행렬의 키-판 $r$-노름이다.
• 저자들은 라데마처 복잡도에 대한 상한과 하한을 모두 제공하여 가설 집합 정의의 타당성과 $\Lambda_{(r)}$ 기반의 날카로움을 정당화한다.
• 이론적 프레임워크는 고정 커널을 사용한 지도 기반 차원 축소 및 비지도 커널 학습 이후 지도 예측과 같은 특수 케이스에도 적용 가능하다.
• 분석을 통해 저차원 다양체와 그 위의 분리 함수를 동시에 학습하는 새로운 구조적 리스크 최소화 알고리즘이 도출된다.
• 유도된 경계는 정보가 많고 비어 있지 않으며, 키-판 $r$-노름이 결합된 학습 설정에서 커널 행렬의 핵심 복잡도 측정 기준이 됨을 보여준다.
• 결과는 다양체 학습과 지도 예측을 통합하는 엔드 투 엔드 학습 파이프라인에 대한 이론적 기초를 제공하며, 더 나은 일반화 제어를 가능하게 한다.