[논문 리뷰] Scalable Learning in Reproducing Kernel Krein Spaces

Dino Oglić, Thomas Gärtner|Repository@Nottingham (University of Nottingham)|2018. 09. 06.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 재생 커널 크라이엔 공간에서의 확장 가능한 학습을 가능하게 하기 위해, 비정재성 커널 행렬에 대한 저랭크 근사에 대한 뉴스트롬 방법의 수학적으로 완전한 유도를 처음으로 제시한다. 효율적인 근사 고유분해 방법과 새로운 저랭크 버전의 커널 리지 회귀, 서포트 벡터 머신, 분산 제약 리지 회귀를 도입하여 대규모 분류 작업에서 정확성을 유지하면서 계산 비용을 크게 감소시킨다. 데이터는 구조적이고 벡터형이다.

ABSTRACT

We provide the first mathematically complete derivation of the Nyström method for low-rank approximation of indefinite kernels and propose an efficient method for finding an approximate eigendecomposition of such kernel matrices. Building on this result, we devise highly scalable methods for learning in reproducing kernel Kre\uın spaces. The devised approaches provide a principled and theoretically well-founded means to tackle large scale learning problems with indefinite kernels. The main motivation for our work comes from problems with structured representations (e.g., graphs, strings, time-series), where it is relatively easy to devise a pairwise (dis)similarity function based on intuition and/or knowledge of domain experts. Such functions are typically not positive definite and it is often well beyond the expertise of practitioners to verify this condition. The effectiveness of the devised approaches is evaluated empirically using indefinite kernels defined on structured and vectorial data representations.

연구 동기 및 목표

• 대규모 머신 러닝 문제에서 비정재성 커널을 위한 이론적으로 타당하고 확장 가능한 방법의 부족을 해결하기 위해.
• 이전에 양의 정재성 커널에만 사용된 뉴스트롬 방법을 이론적으로 엄밀하게 비정재성 커널 행렬로 확장하기 위해.
• 구조적 데이터 표현에서 유도된 커널 행렬을 위한 효율적인 저랭크 근사와 근사 고유분해를 개발하기 위해.
• 재생 커널 크라이엔 공간에 맞게 조정된 확장 가능한 커널 리지 회귀, 서포트 벡터 머신, 분산 제약 리지 회귀의 변형을 제시하기 위해.
• 다양한 비정재성 커널을 가진 실제 데이터셋에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 이전 연구에서 사용된 적분 고유함수 근사의 정확한 등가성 가정을 피하기 위해 기하학적 접근을 사용하여 비정재성 커널에 대한 뉴스트롬 방법을 유도한다.
• 비정재성 커널 행렬의 근사 고유분해를 위한 새로운 계산 효율적인 알고리즘을 제안하며, 이는 이전 방법 대비 최대 3m²n + 3m³ FLOPs를 요구한다. 이는 이전 방법의 7m²n + 2m³ FLOPs보다 낮다.
• 뉴스트롬 근사에 적합한 두 가지 최첨단 랜드마크 샘플링 전략—클러스터링과 리verage 스코어 샘플링—을 비정재성 커널 설정에 적응시킨다.
• 재생 커널 크라이엔 공간에서 커널 리지 회귀와 서포트 벡터 머신의 저랭크 변형을 개발하여 확장 가능한 분류를 가능하게 한다.
• 비정재성 커널 설정에서 일반화 성능을 향상시키기 위해 분산 제약 리지 회귀의 저랭크 변형을 도입한다.
• 크라이엔 서포트 벡터 머신과 플립 스펙트럼 커널 방법 사이의 이론적 연결을 확립하여 접근의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 뉴스트롬 방법은 비정재성 커널 행렬로 엄밀하게 확장될 수 있으며, 그러한 확장의 올바른 수학적 공식은 무엇인가?
• RQ2 비정재성 커널 행렬의 효율적인 근사 고유분해는 어떻게 계산할 수 있으며, 기존 방법과의 계산 복잡도는 어떻게 비교되는가?
• RQ3 커널 리지 회귀와 서포트 벡터 머신과 같은 확장 가능한 학습 방법은 재생 커널 크라이엔 공간에서 효과적으로 제안될 수 있는가?
• RQ4 클러스터링과 리버지 스코어 샘플링과 같은 랜드마크 선택 전략은 비정재성 커널 근사 맥락에서 어떻게 작동하는가?
• RQ5 제안된 저랭크 방법의 실증적 성능은 실제 데이터셋에서 분류 정확도와 근사 품질 측면에서 어떻게 평가되는가?

주요 결과

• 10⁶×10⁶ 크기의 커널 행렬을 10³개의 랜드마크로 근사할 경우, 제안된 비정재성 커널 행렬의 근사 고유분해 방법은 이전 방법보다 3×10¹² FLOPs를 절감한다.
• 유도된 뉴스트롬 방법은 이전 연구와 달리 고유함수 근사에서 정확한 등가성 가정에 의존하지 않으며, 수학적으로 완전하다.
• 커널 리지 회귀와 서포트 벡터 머신의 저랭크 변형은 다양한 비정재성 커널을 가진 15개의 벤치마크 데이터셋에서 경쟁 가능한 분류 정확도를 달성한다.
• 실증 결과는 제안된 방법이 비정재성 커널 행렬을 효과적으로 근사하면서도 10겹 교차 검증에서 낮은 분류 오차를 유지함을 보여준다.
• 이론적 분석은 양의 정재성 커널에 효과적인 랜드마크 선택 전략이 비정재성 커널 행렬과 같은 고유공간을 공유하는 플립 스펙트럼 행렬에도 적용 가능하다는 것을 확인한다.
• 이 방법은 비정재성 커널을 위한 대규모 학습을 위한 원칙적이고 이론적으로 탄탄한 프레임워크를 제공하며, 이전 히وري스틱 방법의 한계를 극복한다.