[논문 리뷰] Lepskii Principle in Supervised Learning

Gilles Blanchard, Peter Mathé외 1명|arXiv (Cornell University)|2019. 05. 26.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 26인용 수 6

한 줄 요약

이 논문은 Tikhonov 정규화에서 정규화 파라미터를 선택하기 위한 데이터 기반 방법을 제안하며, Lepskii 원리를 지도 학습에 새로운 응용으로 도입한다. 근사 오차와 표본 오차를 균형 있게 조절함으로써, 부드러움에 대한 사전 지식 없이도 최적 수렴 속도를 달성하며, 일반 조건 하에서 학습 속도의 이론적 최적성을 입증한다.

ABSTRACT

In the setting of supervised learning using reproducing kernel methods, we propose a data-dependent regularization parameter selection rule that is adaptive to the unknown regularity of the target function and is optimal both for the least-square (prediction) error and for the reproducing kernel Hilbert space (reconstruction) norm error. It is based on a modified Lepskii balancing principle using a varying family of norms.

연구 동기 및 목표

• 함수의 부드러움에 대한 사전 지식 없이 Tikhonov 정규화에서 최적의 정규화 파라미터를 선택하는 데 도전하는 것.
• 지도 학습에서 목표 함수의 알려지지 않은 부드러움에 적응할 수 있는 데이터 기반 방법을 개발하는 것.
• 최소 최대 수렴 속도를 달성함으로써 제안된 방법의 이론적 최적성을 확립하는 것.
• 원래 통계 추정에서 유래된 Lepskii 원리를 재생 핵 힐버트 공간(RKHS) 설정에서 지도 학습으로 확장하는 것.
• 정규화 파라미터에 대한 새로운 적응 선택 규칙을 통해 근사 오차와 표본 오차를 균형 있게 조절하는 것.

제안 방법

• Lepskii 원리를 기반으로 데이터 기반 추정기의 경험적 노름을 사용하여 정규화 파라미터 λ에 대한 데이터 기반 선택 규칙을 제안한다.
• 다양한 λ 값들에 대해 정규화된 추정기와 목표 함수의 차이의 경험적 노름을 비교하는 임계 임계 함수를 도입한다.
• 오ператор (B + λ*)^{1/2}를 사용하여 가중 힐베르트 공간 노름을 정의함으로써 근사 오차와 표본 오차 간의 균형 잡힌 제어를 가능하게 한다.
• ||(B + λ*)^{1/2}(fρ - fλ*)|| ≤ C ||(B + λ*)^{1/2}(fλ* - f^λ)|| 조건을 사용하여 복합 오차를 최소화하는 λ를 선택한다.
• 안정성과 수렴성을 보장하는 재생 핵 힐베르트 공간(RKHS) 프레임워크 내에서 Tikhonov 정규화에 원리를 적용한다.
• 편향과 분산의 무게 조정을 경험 위험 최소화에 보조 비용 항을 추가함으로써 과적합을 방지하는 선택 규칙을 유도한다.

실험 결과

연구 질문

• RQ1 Lepskii 원리는 지도 학습에 효과적으로 적응하여 자동 정규화 파라미터 선택을 가능하게 할 수 있는가?
• RQ2 제안된 방법의 이론적 성능은 알려진 최소 최대 수렴 속도와 비교하여 어떤가?
• RQ3 목표 함수의 알려지지 않은 부드러움에 대해 사전 정보 없이 이 방법은 어떻게 대처하는가?
• RQ4 오차 한계 측면에서 선택된 정규화 파라미터의 최적성을 보장하는 조건은 무엇인가?
• RQ5 이론적·실제 적용에서 표준 교차 검증 또는 기타 파라미터 선택 기법과 비교해 볼 때, 제안된 방법은 어떠한가?

주요 결과

• 제안된 방법은 일반적인 부드러움 가정 하에서 최소 최대 하한선과 일치하는 최적 수렴 속도를 학습 오차에 달성한다.
• 정규화 파라미터는 목표 함수의 부드러움 클래스에 대한 지식 없이도 오직 데이터만을 사용하여 적응적으로 선택된다.
• 다양한 λ 값들 간의 경험적 노름 비교를 통해 근사 오차와 표본 오차를 균형 있게 조절함으로써 강건성을 확보한다.
• 이론적 분석을 통해 선택된 λ가 조건 ||(B + λ*)^{1/2}(fρ - fλ*)|| ≤ C ||(B + λ*)^{1/2}(fλ* - f^λ)||를 만족함을 확인하였으며, 이는 최적 오차 제어로 이어진다.
• 핵과 입력 분포에 대한 표준 가정 하에서 수렴 속도가 도출되는 재생 핵 힐베르트 공간(RKHS) 프레임워크 내에서 이 방법은 유효하다.
• 교차 검증이나 사전 튜닝이 필요 없으며, 이론적으로 탄탄한 적응형 대안을 제공함으로써 정규화 파라미터 선택에 있어 유의미한 보완을 제공한다.