[논문 리뷰] The Degrees of Freedom of Partly Smooth Regularizers

Samuel Vaiter, Charles‐Alban Deledalle외 3명|arXiv (Cornell University)|2014. 04. 22.

Statistical Methods and Inference참고 문헌 10인용 수 5

한 줄 요약

이 논문은 부분적으로 매끄러운 정규화 항수—리만 부분다양체에 대해 국소적으로 매끄러운 볼록이고 아래준연속 함수—를 사용하는 정규화된 회귀 추정기의 자유도를 분석하기 위한 통합 프레임워크를 제안한다. 활성 다양체에서 국소적 안정성과 매끄러움을 활용하여, 거의 곳 곳에서 유효한 닫힌 형태의 자유도 표현식을 도출함으로써, 설계 행렬이 질량이 떨어진 경우에도 편향 없는 위험 추정이 가능해지며, Lasso, 그룹 Lasso, 총 변동성 페널티에 대한 이전 결과를 일반화한다.

ABSTRACT

In this paper, we are concerned with regularized regression problems where the prior regularizer is a proper lower semicontinuous and convex function which is also partly smooth relative to a Riemannian submanifold. This encompasses as special cases several known penalties such as the Lasso ($\ell^1$-norm), the group Lasso ($\ell^1-\ell^2$-norm), the $\ell^\infty$-norm, and the nuclear norm. This also includes so-called analysis-type priors, i.e. composition of the previously mentioned penalties with linear operators, typical examples being the total variation or fused Lasso penalties.We study the sensitivity of any regularized minimizer to perturbations of the observations and provide its precise local parameterization.Our main sensitivity analysis result shows that the predictor moves locally stably along the same active submanifold as the observations undergo small perturbations. This local stability is a consequence of the smoothness of the regularizer when restricted to the active submanifold, which in turn plays a pivotal role to get a closed form expression for the variations of the predictor w.r.t. observations. We also show that, for a variety of regularizers, including polyhedral ones or the group Lasso and its analysis counterpart, this divergence formula holds Lebesgue almost everywhere.When the perturbation is random (with an appropriate continuous distribution), this allows us to derive an unbiased estimator of the degrees of freedom and of the risk of the estimator prediction.Our results hold true without requiring the design matrix to be full column rank.They generalize those already known in the literature such as the Lasso problem, the general Lasso problem (analysis $\ell^1$-penalty), or the group Lasso where existing results for the latter assume that the design is full column rank.

연구 동기 및 목표

• 완전한 열 랭크 가정과 같은 전통적 가정을 초월하여, 부분적으로 매끄러운 정규화 항수를 갖는 정규화된 회귀에서 자유도에 대한 일반 이론을 개발하는 것.
• 관측치의 변화에 대한 정규화된 추정기의 국소적 안정성을 활성 다양체에서의 해 경로 행동을 분석하여 특성화하는 것.
• 다각형 및 그룹-lasso 유형에 속하는 광범위한 정규화 항수 클래스에 대해 자유도와 예측 위험의 편향 없는 추정기를 도출하는 것.
• 완전한 랭크가 아닌 설계 행렬을 포함한 최소한의 가정 하에 자유도 공식의 타당성을 확립하는 것.
• 특히 부분 미분계수와 다각형체를 포함한 분석에 필요한 수학적 엄밀성을 보장하기 위해 o-미니멀 구조와 정의 가능한 집합을 활용하는 것.

제안 방법

• 해결책 근처에서 정규화 항수의 구조를 기술하기 위해 리만 부분다양체에 대한 부분적 매끄러움 개념을 사용한다.
• 관측치가 변할 때 해 경로의 국소적 매개변수화를 분석하여, 관측치의 작은 변화에 따라 예측자가 동일한 활성 다각형체를 따라 매끄럽게 움직이는 것을 보여준다.
• 활성 다각형체의 차원과 그 위에서의 정규화 항수의 매끄러움에 기반하여 자유도의 닫힌 형태 표현식을 유도한다.
• 반대칭기하학과 o-미니멀 기하학 도구를 적용하여 핵심 집합(예: 부분미분계수, 상대 내부)의 정의 가능성을 확보하고, 측도론적 추론을 가능하게 한다.
• 다각형 정규화 항수와 그룹 Lasso 유형의 페널티에 대해 자유도 공식이 리만 측도로 거의 곳 곳에서 유효하다는 것을 입증한다.
• 공식의 거의 곳 곳에서의 유효성을 활용하여, 연속 분포를 갖는 랜덤 변동이 있는 경우에 예측 위험의 편향 없는 추정기를 구성한다.

실험 결과

연구 질문

• RQ1 부분적으로 매끄러운 정규화 항수를 갖는 정규화된 추정기의 자유도는 어떤 조건에서 일관되게 정의되고 계산될 수 있는가?
• RQ2 관측치의 작은 변화에 대해 해 경로가 국소적으로 안정적이고 미분 가능해지는 조건은 무엇인가?
• RQ3 설계 행렬이 완전한 열 랭크가 아닐 경우에도 자유도 공식을 확장할 수 있는가?
• RQ4 부분적 매끄러움과 다각형체의 구조는 닫힌 형태의 자유도 계산을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 그룹 Lasso나 분석 유형의 페널티와 같은 복잡한 정규화 항수에 대해 자유도 공식의 거의 곳 곳에서의 유효성을 어떻게 입증할 수 있는가?

주요 결과

• 부분적으로 매끄러운 정규화 항수를 갖는 정규화된 추정기의 자유도는 미묘한 정규성 조건 하에서 해가 위치한 활성 다각형체의 차원과 같다.
• 정규화 항수가 그 다각형체에서 매끄럽기 때문에, 관측치의 작은 변화에 대해 해 경로는 동일한 활성 다각형체를 따라 국소적으로 안정적이고 미분 가능하다.
• 다각형 정규화 항수와 그룹 Lasso 유형의 페널티에 대해 자유도 공식은 설계 행렬이 질량이 떨어진 경우에도 리만 측도로 거의 곳 곳에서 유효하다.
• 변동 분포가 연속일 경우 자유도 공식을 사용하여 예측 위험의 편향 없는 추정기를 구성할 수 있다.
• 설계 행렬에 대한 완전한 열 랭크 가정이 필요 없어지는 바탕으로, Lasso, 그룹 Lasso, 총 변동성 페널티에 대한 기존 결과를 일반화한다.
• o-미니멀 구조의 사용은 핵심 집합(예: 부분미분계수, 상대 내부)이 정의 가능함을 보장하여 해 경로의 엄밀한 측도론적 분석을 가능하게 한다.