[논문 리뷰] Regularization and the small-ball method I: sparse recovery

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|2016. 01. 21.

Numerical methods in inverse problems인용 수 4

한 줄 요약

이 논문은 정규화 절차의 희소 복원 분석을 위한 통합 프레임워크를 제안하며, 추정 오차율이 정규화 노름의 기하학적 성질과 설계 벡터의 소볼 밴드(소볼 행동)와 연결됨을 밝힌다. 오차율이 경험적 과정의 임계 수준 r(ρ)과 진짜 함수 근처에서 펜alty 노름 Ψ의 부분미분의 크기에 의존함을 입증하여, 서브가우시안 또는 서브지수 노이즈 하에서 LASSO, SLOPE, 트레이스-노름 정규화에 대한 정밀한 경계를 도출한다.

ABSTRACT

We obtain bounds on estimation error rates for regularization procedures of the form \begin{equation*} \hat f \in { m argmin}_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\left(Y_i-f(X_i) ight)^2+\lambda \Psi(f) ight) \end{equation*} when $\Psi$ is a norm and $F$ is convex. Our approach gives a common framework that may be used in the analysis of learning problems and regularization problems alike. In particular, it sheds some light on the role various notions of sparsity have in regularization and on their connection with the size of subdifferentials of $\Psi$ in a neighbourhood of the true minimizer. As `proof of concept' we extend the known estimates for the LASSO, SLOPE and trace norm regularization.

연구 동기 및 목표

• 고차원 통계 학습에서 정규화 절차를 분석하기 위한 공통 이론적 프레임워크를 개발하기.
• ℓ1, SLOPE, 트레이스 노름과 같은 희소성 유도 노름이 희소 복원 오차율을 달성하는 데 기여하는 역할를 명확히 하기.
• 정규화에서 추정 오차를 지배하는 핵심 기하학적 및 확률적 매개변수—특히 r(ρ)와 ∆(ρ)—를 규명하기.
• 일반적이고 통합적인 접근을 통해 LASSO, SLOPE, 트레이스-노름 정규화에 대한 기존 경계를 확장하기.

제안 방법

• 일반 정규화 체계를 제안:  f̂ ∈ argmin_{f∈F} (1/N)∑(Yi−f(Xi))² + λΨ(f), 여기서 Ψ는 노름이고 F는 볼록 집합이다.
• Fρ = {f∈F : Ψ(f−f∗)≤ρ}에서 학습의 최소최대 오차율로 임계 수준 r(ρ)를 도입한다.
• f∗ 근처에서 부분미분 ∂Ψ(f)를 Γf∗(ρ) 집합을 통해 분석하며, 이는 f∗ 근처에서 부분미분의 크기를 캡처한다.
• 소볼 방법을 사용하여 경험 과정을 경계하고, ∆(ρ) 매개변수를 통해 고확률 오차 경계를 유도한다. 여기서 ∆(ρ)는 f∗와 다른 후보들 사이의 분리도를 측정한다.
• 체이닝과 메이저라이징 조합 기법을 사용하여 Fρ의 복잡도를 제어하고 r(ρ) 및 rM(ρ)에 대한 경계를 유도한다.
• λ를 r²(ρ)/ρ와 관련지어 명시적 오차 경계를 유도하며, 설계 벡터의 기하학적 및 확률적 조건을 통해 ∆(ρ)≥4ρ/5를 확보한다.

실험 결과

연구 질문

• RQ1 LASSO, SLOPE, 트레이스-노름 정규화와 같은 다양한 정규화 절차의 분석을 통합하는 단일 프레임워크는 어떻게 가능할 수 있는가?
• RQ2 펜alty 노름 Ψ의 부분미분이 추정 오차율을 결정하는 데 정확히 어떤 역할을 하는가?
• RQ3 설계 벡터의 소볼 성질은 희소 복원에서 오차 경계에 어떻게 영향을 미치는가?
• RQ4 ℓ1 또는 트레이스 노름과 같은 노름들은 희소성과 직접적으로 연결되지 않음에도 불구하고 왜 희소성 기반 오차율을 유도하는가?
• RQ5 고차원 설정에서 Fρ의 메트릭 복잡도와 경험 과정의 확률적 행동 간의 상호작용은 무엇인가?

주요 결과

• LASSO의 경우, λ ∼ ∥ξ∥Lq / √N 이고 N ≳ s log(ed/s)일 때, 오차율 ∥t̂−t∗∥²₂ ≲ s log(ed)/N 가 회복된다. 여기서 ∥ξ∥Lq 는 노이즈 수준을 제어한다.
• SLOPE의 경우, 오차율은 희소성 s와 수열 βi에 의존하며, ∥B_s∥ ≲ C√s log(ed/s) 이면 ∆(ρ)≥4ρ/5 가 보장된다.
• 트레이스-노름 정규화의 경우, 오차율은 ∥Â−A∗∥₁ ≲ ∥ξ∥Lq √(max{m,T})/N 이며, N ≳ s max{m,T} 이면 성립한다. 여기서 s는 진짜 행렬의 질량이다.
• λ ∼ r²(ρ)/ρ 를 선택함으로써 최적의 오차율을 달성하며, 이 경계는 서브가우시안 또는 서브지수 노이즈 하에서도 성립한다.
• 설계 클래스의 효과적 차원 D(V) 가 고확률 이탈 경계를 제어하며, D(V) ≳1 이면 클래스 내 최대 유클리드 기하학적 구조를 캡처한다.
• 이 프레임워크는 부분미분 크기와 소볼 행동이 충분히 정밀한 경계를 도출하는 데 충분하며, Ψ(f∗) 가 사전에 알려져 있지 않아도 된다는 것을 보여준다.