[논문 리뷰] Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning

Vivien Cabannes, Loucas Pillaud‐Vivien외 2명|arXiv (Cornell University)|2020. 09. 09.

Machine Learning and Data Classification참고 문헌 52인용 수 4

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 이론과 저랭크 근사법을 활용하여 차원의 극복을 통해 반감독 학습에서 라플라시안 정규화를 통한 스펙트럼 필터링 방법을 제안한다. 저밀도 분리 조건 하에서 빠른 수렴 속도를 달성하며, $n^{ u} \log n \times n^{ u}\log n$ 행렬 근사법을 통해 계산 비용을 $\mathcal{O}(n^3d^3)$ 에서 $\mathcal{O}(n^{1+2\nu}d\log^2 n)$ 로 감소시킨다. 여기서 $\nu \in (0,1]$ 은 함수의 정규성에 따라 달라진다.

ABSTRACT

As annotations of data can be scarce in large-scale practical problems, leveraging unlabelled examples is one of the most important aspects of machine learning. This is the aim of semi-supervised learning. To benefit from the access to unlabelled data, it is natural to diffuse smoothly knowledge of labelled data to unlabelled one. This induces to the use of Laplacian regularization. Yet, current implementations of Laplacian regularization suffer from several drawbacks, notably the well-known curse of dimensionality. In this paper, we provide a statistical analysis to overcome those issues, and unveil a large body of spectral filtering methods that exhibit desirable behaviors. They are implemented through (reproducing) kernel methods, for which we provide realistic computational guidelines in order to make our method usable with large amounts of data.

연구 동기 및 목표

• 반감독 학습에서 라플라시안 정규화의 차원의 극복 문제를 해결한다.
• 차원 증가에 의한 성능 열화를 방지하기 위해 통계적으로 타당한 프레임워크를 확립한다.
• 대규모 데이터를 위한 커널 방법과 저랭크 근사법을 활용한 확장 가능한 계산 지침을 제공한다.
• 저밀도 분리 가정 하에서 빠른 수렴 속도를 확립한다.
• 계산 효율성으로 인해 고차원 환경에서도 라플라시안 정규화의 실용적 구현을 가능하게 한다.

제안 방법

• 기능 공간 분석과 재생 커널 힐버트 공간(RKHS)을 기반으로 한 스펙트럼 필터링 프레임워크를 제안한다.
• 일致성 있는 추정기 구현을 위해 커널 방법을 사용하여 차원의 극복을 방지한다.
• 난수 샘플링 또는 리커지 스코어를 활용한 저랭크 근사를 통해 커널 행렬 크기를 $n(d+1) \times n(d+1)$ 에서 $n^\nu \log n \times n^\nu \log n$ 으로 감소시킨다.
• 매개변수 $\lambda$ 와 확산 연산자 $\mathcal{L}$ 을 활용한 정규화 체계를 도입하여 스무쓰니스와 안정성을 제어한다.
• 난수 행렬 이론과 서브가우시안 尾 확률 추정을 활용해 경험적 투영 연산자 $P$ 의 농도 경계를 유도한다.
• 특히 $ab = \log p$ 로 설정함으로써 매개변수 튜닝을 통해 근사 오차를 최적화한다.

실험 결과

연구 질문

• RQ1 반감독 학습에서 고차원 입력 공간에 대해 라플라시안 정규화가 강건하게 작동할 수 있는가?
• RQ2 라플라시안 기반 추정기의 차원의 극복을 보장하는 이론적 조건은 무엇인가?
• RQ3 커널 방법과 저랭크 근사를 어떻게 조합하여 통계적 일관성을 유지하면서 계산 비용을 줄일 수 있는가?
• RQ4 저밀도 분리 조건 하에서 라플라시안 정규화 추정기의 최적 수렴 속도는 무엇인가?
• RQ5 리커지 스코어 샘플링은 저랭크 계획에서 근사 품질을 향상시키고 필요한 표본 수를 줄일 수 있는가?

주요 결과

• 제안된 추정기는 저밀도 분리 가정 하에서 빠른 수렴 속도를 달성하며, 차원의 극복을 피한다.
• 통계 오차 경계는 $\mathcal{O}\left(\frac{\log p}{p}\right)$ 와 $\mathcal{O}\left(\frac{\log^a p}{p^a}\right)$ 로 스케일링되며, $ab = \log p$ 에서 최적화된다.
• 계산 비용은 $\mathcal{O}(n^3d^3)$ 에서 $\mathcal{O}(n^{1+2\nu}d\log^2 n)$ 으로 감소하며, $\nu \in (0,1]$ 은 기저 함수의 정규성에 따라 달라진다.
• 함수의 스무쓰니스와 RKHS의 구조를 활용함으로써 고차원 환경에서도 일관성과 빠른 수렴을 달성한다.
• 리커지 스코어 샘플링은 근사 품질을 향상시키며, 주어진 용량에 대해 $p = (\mu\lambda)^\nu \log n$ 을 허용하여 안정성을 향상시킨다.
• 기대 $L^2$ 오차에 대한 이론적 경계를 도출하였으며, 이는 $n$, $\lambda$, $\kappa^2$, 그리고 $\|g_\rho\|_{L^2}$ 와 $\|\mathcal{L}g_\rho\|_{L^2}$ 를 통해 함수의 정규성에 따라 영향을 받는다.