[논문 리뷰] Aggregation for Regression Learning

Florentina Bunea, Alexandre B. Tsybakov외 1명|ArXiv.org|2004. 10. 07.

Statistical Methods and Inference참고 문헌 37인용 수 17

한 줄 요약

이 논문은 데이터 기반 페널티(경계 임계값 및 L1형)를 사용하여 세 가지 회귀 집합 유형—모델 선택, 볼록, 선형—에 대해 동시에 최적 수렴 속도를 달성하는 보편적인 페널티가 부여된 최소 제곱 집합 절차를 제안한다. 이 방법은 모든 세 설정에서 가능한 한 최고의 성능에 가까이 도달하여, 단일 프레임워크 내에서 최적의 집합을 통합한다.

ABSTRACT

This paper studies statistical aggregation procedures in regression setting. A motivating factor is the existence of many different methods of estimation, leading to possibly competing estimators. We consider here three different types of aggregation: model selection (MS) aggregation, convex (C) aggregation and linear (L) aggregation. The objective of (MS) is to select the optimal single estimator from the list; that of (C) is to select the optimal convex combination of the given estimators; and that of (L) is to select the optimal linear combination of the given estimators. We are interested in evaluating the rates of convergence of the excess risks of the estimators obtained by these procedures. Our approach is motivated by recent minimax results in Nemirovski (2000) and Tsybakov (2003). There exist competing aggregation procedures achieving optimal convergence separately for each one of (MS), (C) and (L) cases. Since the bounds in these results are not directly comparable with each other, we suggest an alternative solution. We prove that all the three optimal bounds can be nearly achieved via a single "universal" aggregation procedure. We propose such a procedure which consists in mixing of the initial estimators with the weights obtained by penalized least squares. Two different penalities are considered: one of them is related to hard thresholding techniques, the second one is a data dependent $L_1$-type penalty. Consequently, our method can be endorsed by both the proponents of model selection and the advocates of model averaging.

연구 동기 및 목표

• 모델 선택, 볼록, 선형 집합이라는 세 가지 회귀 학습 문제에 걸쳐 최적의 집합을 통합하기.
• 세 집합 유형에 대해 거의 최적의 초과 위험 속도를 달성하는 단일 보편적 절차를 개발하기.
• 개별 절차의 한계를 극복하기 위해 데이터에 의존하는 가중치를 갖는 통합된 페널티가 부여된 최소 제곱 프레임워크 도입하기.
• 일반적인 비모수적 회귀 설정 하에서 제안된 방법의 최소 최대 최적성 증명하기.

제안 방법

• M개의 추정기의 최적 가중치를 추정하기 위해 페널티가 부여된 최소 제곱 기반의 보편적 집합 절차를 제안한다.
• 두 가지 유형의 페널티를 사용한다: 하나는 경계 임계값과 관련된 것이고, 다른 하나는 데이터 기반 정규화를 위한 L1형이다.
• 가중치는 적합도와 복잡도의 균형을 맞추기 위해 페널티가 부과된 경험적 위험을 최소화하도록 선택된다.
• 해당 방법은 제약 조건 집합에 따라 (L), (C), 또는 (MS) 오라클의 성능을 모방하는 집합 추정기를 구축한다.
• 유한한 후보 함수 집합을 사용하고, 농도 부등식을 활용하여 초과 위험을 통제한다.
• 초과 위험를 최적 속도와 나머지 항의 합으로 bound하는 오라클 부등식을 유도한다.

실험 결과

연구 질문

• RQ1 단일 집합 절차가 모델 선택, 볼록, 선형 집합의 회귀에서 거의 최적의 속도를 동시에 달성할 수 있는가?
• RQ2 다양한 유형의 추정기에서 최적의 집합을 위한 통합 접근법을 가능하게 하는 페널티 구조는 무엇인가?
• RQ3 제안된 보편적 방법의 성능는 기존의 문제별 특화된 집합 절차와 비교하여 어떻게 되는가?
• RQ4 일반적인 비모수적 회귀 모델 하에서 제안된 집합 방법의 최소 최대 수렴 속도는 무엇인가?
• RQ5 사전에 기저 모델을 알지 못하더라도 데이터 기반 페널티가 다양한 집합 유형 간 최적 적응을 보장할 수 있는가?

주요 결과

• 제안된 페널티가 부여된 최소 제곱 절차는 모델 선택, 볼록, 선형 집합이라는 세 집합 유형에 대해 동시에 거의 최적의 초과 위험 속도를 달성한다.
• 해당 방법은 집합 유형을 사전에 알지 못하더라도 최적 속도에 적응하는 보편적 프레임워크를 사용한다.
• 초과 위험 는 최적 속도에 더하여, 각 개별 문제에 대해 알려진 최고 수준의 속도와 같은 순서의 나머지 항으로 bound된다.
• 모델 선택 집합의 경우, 적절한 조건 하에서 속도가 (M/n) log(M/n) 순서로 달성된다.
• 선형 및 볼록 집합의 경우, 방법은 최적 속도인 M/n 순서로 도달하며, 기존의 최소 최대 하한선과 일치한다.
• 데이터 기반 L1형 및 경계 임계값 페널티의 사용은 다양한 설정에서 적응성과 최소 최대 최적성을 보장한다.