[논문 리뷰] Kernel Ridge Regression via Partitioning

Rashish Tandon, Si Si외 2명|arXiv (Cornell University)|2016. 08. 05.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 입력 공간 분할(예: 클러스터링을 통한)에 기반한 분할 기반의 분할-정복 접근법을 제안한다. 이 방법은 데이터를 상호배타적인 부분집합으로 나누고, 각 부분집합에 대해 국소 KRR 모델을 학습한다. 주요 기여는 전역 KRR나 무작위 분할에 대한 평균화와 비교해 더 낮은 근사 오차와 최적의 최소최대 비율을 달성함으로써, 추가적인 근사 오차 없이 통계적이고 계산적 이점이 있는 점이다.

ABSTRACT

In this paper, we investigate a divide and conquer approach to Kernel Ridge Regression (KRR). Given n samples, the division step involves separating the points based on some underlying disjoint partition of the input space (possibly via clustering), and then computing a KRR estimate for each partition. The conquering step is simple: for each partition, we only consider its own local estimate for prediction. We establish conditions under which we can give generalization bounds for this estimator, as well as achieve optimal minimax rates. We also show that the approximation error component of the generalization error is lesser than when a single KRR estimate is fit on the data: thus providing both statistical and computational advantages over a single KRR estimate over the entire data (or an averaging over random partitions as in other recent work, [30]). Lastly, we provide experimental validation for our proposed estimator and our assumptions.

연구 동기 및 목표

• 커널 행렬의 역행렬 계산 비용이 O(n³)로 증가하는 대규모 데이터셋에서 커널 리지 회귀(KRR)의 높은 계산 비용을 해결하기 위해.
• 기존의 분할-정복 KRR 접근법이 추가적인 근사 오차를 유발하거나 제한적인 가정(예: 유계 공분산 변수, 특정 커널)에 의존하는 한계를 극복하기 위해.
• 전역 KRR나 무작위 분할에 대한 평균화와 비교해 최적의 최소최대 비율을 달성하면서 근사 오차를 줄이는 분할 기반 KRR 추정기 개발을 위해.
• 다양한 커널에 적용 가능한 일반적인 가정 하에 제안된 방법의 일반화 경계를 수립하기 위해.

제안 방법

• 클러스터링 등의 고정된 분할 방법을 사용해 입력 공간을 상호배타적인 영역으로 나누고, 훈련 샘플을 해당 분할에 할당한다.
• 각 분할에 대해 국소 데이터만을 사용해 별도의 KRR 모델을 학습함으로써 m개의 국소 추정기 생성.
• 예측 시에는 테스트 포인트를 해당 분할에 할당하고, 해당 국소 KRR 모델을 사용해 추론 수행.
• 이론적 분석은 각 분할 내 커널 행렬의 스펙트럼 분해 및 추정 오차 행렬의 스펙트럼 노름에 대한 경계에 기반한다.
• 집중 불등식의 사용과 고유값 감쇠에 대한 가정(가정 1)을 통해 추정 오차를 통제하고 일반화 경계를 유도한다.
• 행렬 페르터베이션 이론과 트레이스/스펙트럼 노름 부등식을 사용해 오차의 세 구성요소인 근사 오차(T₁), 추정 오차(T₂), 모델 불일치(T₃)에 대한 경계 유도.

실험 결과

연구 질문

• RQ1 분할 기반 KRR 접근법은 전역 KRR와 비교해 최적의 최소최대 비율을 달성하면서 근사 오차를 줄일 수 있는가?
• RQ2 제안된 방법은 무작위 분할에 대한 평균화(예: [30])와 비교해 근사 오차 측면에서 통계적 이점이 있는가?
• RQ3 분할 및 커널 구조에 대해 어떤 조건에서 국소 KRR 추정기는 전역 KRR 추정기보다 더 나은 일반화 성능을 달성하는가?
• RQ4 진짜 함수가 재생 커널 힐버트 공간 외부에 있을 경우, 분할 기반 추정기의 근사 오차가 전역 KRR 추정기보다 엄격히 작아질 수 있는가?
• RQ5 제안된 분할 프레임워크에서 계산 효율성과 통계 성능 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 분할 기반 KRR 추정기는 온건한 가정 하에 최적의 최소최대 비율을 달성하며, 추정 오차 측면에선 전역 KRR와 동일한 성능를 보이지만 계산 비용은 감소한다.
• 분할 기반 추정기의 근사 오차는 전역 KRR 추정기나 [30]에서 제안한 평균 기반 추정기보다 엄격히 작으며, 이는 조각별 커널 함수를 모델링할 수 있기 때문이다.
• 이론적 분석에 따르면 일반화 오차 경계는 전역 KRR보다 낮으며, 주로 근사 오차 감소 덕분이지만 잔여 추정 오차는 유사하게 유지된다.
• 이론적 분석은 가정 1 하에 추정 오차 성분(T₂)이 O(√(log d / n))로 경계됨을 보여주며, 분할의 고유값 감쇠에 명시적인 의존성이 있다.
• 국소 모델 사용 덕분에 각 예측에서 전체 훈련 포인트의 일부만 사용되기 때문에 예측 시간이 전역 KRR보다 빠르다.
• 실험적 검증은 실제 적용에서 근사 오차가 낮음을 확인하며, 진짜 함수가 국소적으로 스무스하거나 입력 영역에 따라 구조가 다를 경우 특히 뚜렷하다.