[논문 리뷰] A Non-generative Framework and Convex Relaxations for Unsupervised Learning

Elad Hazan, Tengyu Ma|arXiv (Cornell University)|2016. 10. 04.

Machine Learning and Algorithms인용 수 11

한 줄 요약

이 논문은 생성 모델이나 확률적 가정을 피하고 볼록 리 릴랙션을 통해 효율적이고 부적절한 학습을 가능하게 하는 비생성적, 비교 기반 프레임워크를 제안한다. 사전 학습된 딕셔너리 학습 및 스펙트럼 오토에인코더에 대해 다항 시간 알고리즘을 확보하기 위해 제곱합(SOS) 볼록 리 릴랙션을 도입하여 이전 연구를 넘어서 과도하게 완성된 딕셔너리와 증명 가능 보장을 갖는 대수기하 다양체를 다룰 수 있다.

ABSTRACT

We give a novel formal theoretical framework for unsupervised learning with two distinctive characteristics. First, it does not assume any generative model and based on a worst-case performance metric. Second, it is comparative, namely performance is measured with respect to a given hypothesis class. This allows to avoid known computational hardness results and improper algorithms based on convex relaxations. We show how several families of unsupervised learning models, which were previously only analyzed under probabilistic assumptions and are otherwise provably intractable, can be efficiently learned in our framework by convex optimization.

연구 동기 및 목표

• 비생성적 가정을 피하는 일반적인 이론적 프레임워크가 부족한 문제를 해결하기 위해.
• 비생성적 학습의 계산적 난이도를 극복하기 위해 비교적 분포에 의존하는 학습 모델을 도입하기 위해.
• 볼록 최적화를 통해 딕셔너리와 스펙트럼 오토에인코더와 같은 복잡한 가설 클래스를 효율적으로 학습하기 위한 다항 시간 알고리즘을 개발하기 위해.
• 기존의 PCA 및 커널-PCA 모델을 일반화하여 새로운 종류의 스펙트럼 인코딩을 통해 대수기하 다양체를 학습할 수 있도록 하기 위해.
• 특히 제곱합(SOS) 볼록 리 릴랙션을 통해 worst-case 성능 기준에서 분포 가정 없이도 증명 가능한 효율성 학습이 가능함을 보여주기 위해.

제안 방법

• 가장 악성의 분포 하에서 가설 클래스에 대해 성능을 측정하는 비생성적, 비교 기반 학습 프레임워크를 제안한다.
• PCA와 커널-PCA를 일반화하고 대수기하 다양체를 모델링할 수 있는 새로운 가설 클래스인 '스펙트럼 오토에인코더'를 도입한다.
• 딕셔너리 모델의 효율적 학습을 가능하게 하기 위해 핵심 최적화 기법으로 제곱합(SOS) 볼록 리 릴랙션을 활용한다.
• 랜덤 프로젝션과 보조 행렬을 사용하여 ℓ1 노름에서 재구성 오차를 최소화하는 인코딩/디코딩 알고리즘을 설계한다.
• 인코딩 과정에서 노이즈 제거 단계를 도입하여 재구성 신호의 노이즈를 줄이고 내성적 안정성을 향상시킨다.
• 예측된 인코딩과 진짜 인코딩 간 오차를 제어하기 위해 SRW(스토케스틱 리스트리크트드 유효폭) 경계를 적용하여 최적 해로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 생성 모델이나 확률적 가정 없이도 비생성적 학습을 체계화할 수 있는가?
• RQ2 볼록 리 릴랙션을 사용하여 딕셔너리나 PCA의 확장 모델과 같은 비생성적 학습 모델의 효율적이고 비적절한 학습이 가능한가?
• RQ3 이전 연구에서 상수 배수 과잉 완성도를 넘어서는 과잉 완성된 딕셔너리를 다룰 수 있는가?
• RQ4 스펙트럼 오토에인코더는 기존의 스펙트럼 모델이 다룰 수 없는 대수기하 다량체를 학습할 수 있는가?
• RQ5 비생성적, 비교 기반 학습 환경에서 볼록 최적화를 통해 증명 가능한 재구성 오차 경계를 확보할 수 있는가?

주요 결과

• 제안된 프레임워크는 생성 가정 없이도 딕셔너리 모델의 효율적이고 비적절한 학습을 가능하게 하며, 이전 연구에서 요구하던 상수 과잉 완성도를 넘어서는 확장성을 갖춘다.
• 알고리즘은 높은 확률로 재구성 오차가 $ O(\varepsilon^{\bullet} + \nu) $ 이하가 되며, 여기서 $ \nu $ 는 볼록 리 릴랙션에서 발생하는 오차이고, $ \nu = O(k^2 r^{2/p} d^{-1} / \nu^2 \times \log d) $ 이다.
• 인코딩 길이는 $ \tilde{O}(k^2 r^{2/p} / \nu^2) $ 이며, 이는 관련 매개변수에 대해 다항식이며 유리한 조건에서는 데이터 차원에 독립적이다.
• 프레임워크는 PCA와 커널-PCA를 더 넓은 스펙트럼 오토에인코더 클래스로 일반화하여 대수기하 다량체를 모델링할 수 있다.
• 제곱합(SOS) 볼록 리 릴랙션의 사용은 비생성적 환경에서 딕셔너리 학습의 첫 번째 증명 가능한 효율성 학습을 가능하게 한다.
• 이론적 분석 결과, 디코딩 오차는 높은 확률로 $ \varepsilon^{\bullet} + \delta $ 이하로 제한되며, 여기서 $ \varepsilon^{\bullet} $ 는 최적 재구성 오차이고 $ \delta $ 는 리 릴랙션 오차이다.