[논문 리뷰] Less is More: Nyström Computational Regularization

Alessandro Rudi, Raffaello Camoriano외 1명|arXiv (Cornell University)|2015. 07. 17.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 10

한 줄 요약

이 논문은 대규모 커널 방법에 대한 뉴스트롬 기반의 계산적 정규화 방법을 제안하며, 부분 샘플링 수준이 계산 비용과 일반화 사이의 균형을 맞추는 정규화 파라미터로 작용한다. 랜덤 샘플링 하에서 최적의 학습 경계를 증명하고, 증분 커널 정규화 최소 제곱법을 사용하여 벤치마크 데이터셋에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

We study Nyström type subsampling approaches to large scale kernel methods, and prove learning bounds in the statistical learning setting, where random sampling and high probability estimates are considered. In particular, we prove that these approaches can achieve optimal learning bounds, provided the subsampling level is suitably chosen. These results suggest a simple incremental variant of Nyström Kernel Regularized Least Squares, where the subsampling level implements a form of computational regularization, in the sense that it controls at the same time regularization and computations. Extensive experimental analysis shows that the considered approach achieves state of the art performances on benchmark large scale datasets.

연구 동기 및 목표

• 대규모 커널 방법에서 뉴스트롬 유형의 부분 샘플링의 통계적 일반화 성질을 조사하는 것.
• 통계적 학습 프레임워크에서 랜덤 샘플링 하에서 학습 경계와 고확률 추정치를 수립하는 것.
• 부분 샘플링 수준이 동시에 계산과 정규화를 제어할 수 있는 형태의 계산적 정규화로 기능할 수 있는지 보여주는 것.
• 확장성과 성능 향상을 위한 뉴스트롬 커널 정규화 최소 제곱법의 증분 변형을 개발하고 평가하는 것.

제안 방법

• 뉴스트롬 방법을 사용하여 커널 행렬의 랜덤 부분 샘플링을 적용하여 계산 복잡도를 감소시킨다.
• 정확도와 효율성 사이의 균형을 유지하기 위해 부분 샘플링 수준을 동적으로 조정하는 증분 알고리즘을 제안한다.
• 이론적 분석을 통해 부분 샘플링 수준을 적절히 선택할 경우 최적의 학습 경계를 확보할 수 있음을 증명한다.
• 부분 샘플링 수준을 정규화 파라미터로 간주하여 계산 비용을 모델 일반화와 직접적으로 연결한다.
• 확장 가능한 대규모 데이터셋 학습을 가능하게 하기 위해 커널 정규화 최소 제곱법의 증분 변형으로 프레임워크를 구현한다.
• 랜덤 샘플링 가정 하에서 고확률 학습 경계를 유도하여 통계적 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 랜덤 샘플링 하에서 뉴스트롬 부분 샘플링이 대규모 커널 방법에서 최적의 학습 경계를 달성할 수 있는가?
• RQ2 부분 샘플링 수준의 선택이 계산 비용과 일반화 성능에 어떤 영향을 미치는가?
• RQ3 부분 샘플링 수준이 동시에 계산과 정규화를 제어할 수 있는 형태의 계산적 정규화로 사용될 수 있는가?
• RQ4 제안된 증분 뉴스트롬 방법이 표준 대규모 벤치마크에서 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 랜덤 샘플링 하에서 뉴스트롬 기반 커널 방법의 일반화 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 부분 샘플링 수준을 적절히 선택할 경우 제안된 방법이 최적의 학습 경계를 달성하여 이론적 최적성의 확인이 가능하다.
• 부분 샘플링 수준가 모델 복잡도와 계산 비용을 동시에 제어함으로써 계산적 정규화를 효과적으로 구현한다.
• 증분 뉴스트롬 커널 정규화 최소 제곱법 변형이 대규모 벤치마크 데이터셋에서 최신 기술 수준의 성능을 보였다.
• 광범위한 실험을 통해 방법의 확장성과 기존 방법 대비 뛰어난 일반화 성능을 확인하였다.
• 이론적 분석을 통해 고확률 추정치를 지원하여 랜덤 샘플링 가정 하에서도 강인함을 보장한다.
• 부분 샘플링 수준를 정규화 파라미터로 조정할 경우 더 적은 데이터로도 일반화 성능 향상을 이룰 수 있음을 결과가 입증하였다.