[논문 리뷰] Estimation bounds and sharp oracle inequalities of regularized procedures with Lipschitz loss functions

Pierre Alquier, Vincent Cottet외 1명|arXiv (Cornell University)|2017. 02. 05.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 9

한 줄 요약

이 논문은 일반 노름 하에서 리프시츠 손실 함수를 갖는 정규화된 경험 위험 최소화에 대해 날카운 추정 오차 경계와 오라클 부등식을 확립한다. 이는 베르누이 조건과 복잡도 측도를 활용한 것으로, 행렬 완성(1비트 및 분위수 변형 포함), 로지스틱 LASSO/SLOPE, 커널 방법에 대해 최소 최대 최적 속도를 도출한다. 응답 변수에 대한 모멘트 조건이나 파rametric 모델을 가정하지 않는다.

ABSTRACT

We obtain estimation error rates and sharp oracle inequalities for regularization procedures of the form \begin{equation*} \hat f \in argmin_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\ell(f(X_i), Y_i)+λ\|f\| ight) \end{equation*} when $\|\cdot\|$ is any norm, $F$ is a convex class of functions and $\ell$ is a Lipschitz loss function satisfying a Bernstein condition over $F$. We explore both the bounded and subgaussian stochastic frameworks for the distribution of the $f(X_i)$'s, with no assumption on the distribution of the $Y_i$'s. The general results rely on two main objects: a complexity function, and a sparsity equation, that depend on the specific setting in hand (loss $\ell$ and norm $\|\cdot\|$). As a proof of concept, we obtain minimax rates of convergence in the following problems: 1) matrix completion with any Lipschitz loss function, including the hinge and logistic loss for the so-called 1-bit matrix completion instance of the problem, and quantile losses for the general case, which enables to estimate any quantile on the entries of the matrix; 2) logistic LASSO and variants such as the logistic SLOPE; 3) kernel methods, where the loss is the hinge loss, and the regularization function is the RKHS norm.

연구 동기 및 목표

• 리프시츠 손실 함수를 갖는 정규화된 경험 위험 최소화자에 대해 일반적인 추정 오차 경계와 날카운 오라클 부등식을 유도하기.
• 응답 변수 Y에 대한 모멘트 또는 尾 조건 없이도 정규화 절차의 성능을 분석하기 — 특히 응답 변수 Y에 대한 모멘트 또는 尾 조건 없이.
• 복잡도와 희소성 기반의 단일 이론적 프레임워크로 다양한 문제들(행렬 완성, 로지스틱 회귀, 커널 방법)의 분석을 통합하기.
• 제안된 프레임워크를 사용하여 1비트 행렬 완성 및 로지스틱 LASSO의 최소 최대 최적 속도를 확립하기.
• 노름의 부분미분계수와 손실 함수의 베르누이 조건이 통계적 성능을 결정하는 데 기여하는 방식을 규명하기.

제안 방법

• 일반적인 정규화 프레임워크 제안: $\hat{f} = \arg\min_{f \in F} \left( \frac{1}{N}\sum_{i=1}^N \ell(f(X_i), Y_i) + \lambda \|f\| \right)$, 여기서 $\ell$ 은 리프시츠이면서 베르누이 조건을 만족한다.
• 두 가지 주요 설정 도입: 정규 분포 설계(회귀 유사 설정용) 및 유계 설계(분류 및 1비트 문제용).
• 손실 $\ell$ 과 노름 $\|\cdot\|$ 에 따라 정의되는 복잡도 함수와 희소성 방정식을 도입하여 모델의 복잡도와 부분미분계수의 구조를 포괄한다.
• 노름이 희소성 유도(예: $\ell_1$ 또는 핵 노름)일 경우 희소성에 의존하는 경계 또는 노름에 의존하는 경계를 도출한다.
• 경험 과정 이론 및 농도 불등식 도구를 활용하며, 특히 하한에서 핵심 기대값을 하한으로 평가하기 위해 밀스 비율을 활용한다.
• 구체적 문제에 프레임워크를 적용하기 위해, 특정 손실(하이픈, 로지스틱, 분위수)과 노름(RKHS, $\ell_1$, 핵 노름)에 대해 베르누이 조건을 검증하고 복잡도 측도를 계산한다.

실험 결과

연구 질문

• RQ1 응답 변수에 대한 모멘트 조건 없이도 리프시츠 손실 함수를 갖는 정규화 절차에 대해 일반적인 추정 오차 경계를 어떻게 도출할 수 있는가?
• RQ2 통계 수렴 속도는 손실 함수의 리프시츠 성질, 베르누이 조건, 노름의 부분미분계수 구조 간의 상호작용에 따라 어떻게 달라지는가?
• RQ3 하이픈, 로지스틱, 또는 분위수 손실과 같은 비제곱 손실을 갖는 행렬 완성에 대해 날카운 오라클 부등식을 확립할 수 있는가?
• RQ4 제안된 프레임워크 하에서 로지스틱 LASSO 및 SLOPE 추정자에 대한 최소 최대 수렴 속도는 무엇인가?
• RQ5 예를 들어 SVM에서 RKHS 노름을 사용한 비희소 정규화는 희소 정규화와 동일한 이론적 도구로 분석될 수 있는가?

주요 결과

• 논문은 Y에 대한 모멘트 또는 尾 조건 없이도, 베르누이 조건 하에서 리프시츠 손실을 갖는 정규화 절차에 대해 날카운 오라클 부등식을 확립한다.
• 하이픈 또는 로지스틱 손실을 사용한 1비트 행렬 완성의 경우, 필요한 베르누이 조건과 복잡도 경계를 검증함으로써 최소 최대 최적 속도를 달성한다.
• 분위수 손실을 사용한 행렬 완성은 날카운 경계를 도출함으로써 매트릭스 요소의 임의의 조건부 분위수 추정이 가능하다는 것을 보여준다.
• 로지스틱 회귀에 대한 SLOPE 추정자는 제안된 프레임워크 하에서 최소 최대 최적 속도를 달성함을 증명한다.
• 하이픈 손실과 RKHS 노름을 갖는 커널 방법에 대해서도 이 프레임워크가 적용되며, 희소성 가정 없이 비점근적 위험 경계를 도출한다.
• 분석 결과, 노름의 부분미분계수 구조와 복잡도 함수가 경계가 희소성에 의존하는지 또는 노름에 의존하는지 결정하며, 후자는 노름이 희소성 유도를 하지 않을 때 발생한다.