[논문 리뷰] For interpolating kernel machines, minimizing the norm of the ERM solution minimizes stability

Akshay Rangamani, Lorenzo Rosasco외 1명|arXiv (Cornell University)|2020. 06. 28.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 보간하는 커널 머신에서, 경험적 리스크 최소화(Empirical Risk Minimization, ERM) 해의 노름을 최소화하면 교차검증 안정성에 대한 상한이 최소화되고, 이는 일반화 오차를 통제함을 보여준다. 주요 결과는 최소 노름 보간 해가 최적의 안정성과 리스크 상한을 달성하며, 과파rameterized 환경에서 수치적 안정성(커널 행렬의 조건수)과 통계적 안정성을 연결함을 보여준다.

ABSTRACT

We study the average $\mbox{CV}_{loo}$ stability of kernel ridge-less regression and derive corresponding risk bounds. We show that the interpolating solution with minimum norm minimizes a bound on $\mbox{CV}_{loo}$ stability, which in turn is controlled by the condition number of the empirical kernel matrix. The latter can be characterized in the asymptotic regime where both the dimension and cardinality of the data go to infinity. Under the assumption of random kernel matrices, the corresponding test error should be expected to follow a double descent curve.

연구 동기 및 목표

• 정규화 없이 학습 데이터를 완벽히 피팅하는 과파arameterized 커널 방법에서의 일반화를 이해하기 위해.
• 안정성 기반 접근법을 사용하여 커널 최소 제곱법에서 보간 해의 안정성을 특성화하기 위해.
• 모든 보간 해 중에서 최소 노름 해가 교차검증 안정성에 대한 상한을 최소화함을 보여주기 위해.
• 경험적 커널 행렬의 조건수와 수치적 안정성 및 통계적 안정성 간의 연결 고리를 설정하기 위해.

제안 방법

• 교차검증 안정성(Leave-one-out cross-validation, CV_loo)을 측정으로써 커널 최소 제곱법에서 보간 해의 안정성을 분석함.
• 경험적 커널 행렬의 조건수에 의존하는 CV_loo 안정성에 대한 상한을 유도함.
• 행렬 부등식과 난수 행렬 이론을 사용하여 표본 수 n과 차원 d가 모두 큰 경우 커널 행렬의 점근적 행동을 분석함.
• 최소 노름 해가 유도된 안정성 상한을 최소화함을 보여주며, 이는 더 나은 일반화를 의미함.
• 안정성 상한을 커널 행렬의 의사역행렬과 연결함으로써 수치적 안정성과 통계적 안정성을 연결함.
• 선형 커널 설정에서 경사하강법이 최소 노름 해로 수렴함을 보여주며, 이는 결과가 최적화 동역학에 적용 가능함을 의미함.

실험 결과

연구 질문

• RQ1 ERM 해의 노름을 최소화하면 보간 커널 머신에서 더 나은 안정성과 일반화를 이끌어내는가?
• RQ2 보간 해의 안정성은 경험적 커널 행렬의 조건수와 어떻게 관련이 있는가?
• RQ3 안정성 기반 상한은 과파arameterized 커널 모델에서 관찰된 테스트 오차의 더블 디센트 현상을 설명할 수 있는가?
• RQ4 커널 방법에서 수치적 안정성(조건수)과 통계적 안정성(CV_loo) 사이에 연결 고리가 존재하는가?
• RQ5 최소 노름 해는 다른 보간 해와 비교해 리스크와 안정성 측면에서 어떻게 다른가?

주요 결과

• 최소 노름 보간 해는 CV_loo 안정성에 대한 상한을 최소화하며, 이는 모든 보간 해 중에서 가장 우수한 일반화 성능을 가짐을 시사함.
• 안정성 상한은 경험적 커널 행렬의 조건수에 의해 제어되며, 이는 수치적 안정성과 통계적 안정성 양쪽을 지배함.
• n과 d가 모두 큰 점근적 영역에서 커널 행렬의 조건수는 더블 디센트 곡선를 따르며, 경험적 관측과 일치함.
• 최소 노름 해의 리스크 상한은 커널 행렬의 의사역행렬에 의존하며, 이는 수치적 안정성과 통계적 안정성 간의 직접적 연결 고리를 확립함.
• 선형 커널 설정에서 경사하강법은 최소 노름 해로 수렴함을 보여주며, 이는 안정성 이점이 표준 학습 절차에 적용 가능함을 의미함.
• 결과는 과파arameterized 영역에서 릿지 없는 커널 방법의 성공에 대한 이론적 기반을 제공하며, 명시적 정규화 없이 일반화를 설명함.