[논문 리뷰] Sharp Oracle Inequalities for Square Root Regularization

Benjamin Stucky, Sara van de Geer|arXiv (Cornell University)|2015. 09. 14.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 고차원 선형 회귀에서 임의의 약한 분해 가능 노름을 페널티로 사용하여 노이즈 분산을 알지 못해도 중심적인 추정이 가능한 일반적인 제곱근 정규화 프레임워크를 제안한다. 제곱근 LASSO 및 제곱근 SLOPE와 같은 추정기의 날카운 오라클 부등식을 확립하여, 정렬된 L1-노름의 군집 성질 덕분에 군집 스파arsity 구조에서 향상된 성능을 보임을 보여준다.

ABSTRACT

We study a set of regularization methods for high-dimensional linear regression models. These penalized estimators have the square root of the residual sum of squared errors as loss function, and any weakly decomposable norm as penalty function. This fit measure is chosen because of its property that the estimator does not depend on the unknown standard deviation of the noise. On the other hand, a generalized weakly decomposable norm penalty is very useful in being able to deal with different underlying sparsity structures. We can choose a different sparsity inducing norm depending on how we want to interpret the unknown parameter vector $β$. Structured sparsity norms, as defined in Micchelli et al. [18], are special cases of weakly decomposable norms, therefore we also include the square root LASSO (Belloni et al. [3]), the group square root LASSO (Bunea et al. [10]) and a new method called the square root SLOPE (in a similar fashion to the SLOPE from Bogdan et al. [6]). For this collection of estimators our results provide sharp oracle inequalities with the Karush-Kuhn-Tucker conditions. We discuss some examples of estimators. Based on a simulation we illustrate some advantages of the square root SLOPE.

연구 동기 및 목표

• 모르고 있는 노이즈 분산에 의존하지 않는 고차원 선형 회귀를 위한 통합 프레임워크를 개발하기 위해 제곱근 손실을 사용한다.
• 제곱근 LASSO를 일반적인 스파arsity 유도 노름으로 확장하여 그룹 노름 및 정렬된 L1-노름(SLOPE)과 같은 구조적 스파arsity를 포함한다.
• 약한 분해 가능성 조건 하에서 이 추정기의 클래스에 대해 날카운 오라클 부등식을 확립하여, 완전한 분해 가능성 조건이 필요 없이 이론적 보장을 가능하게 한다.
• 모의 실험을 통해 제곱근 SLOPE가 제곱근 LASSO보다 군집 및 구조적 스파arsity 설정에서 어떤 이점이 있는지 보여준다.

제안 방법

• 실험적 잔차의 노름과 페널티 항의 합을 최소화하는 제곱근 정규화 추정기를 제안한다: $\hat{\beta} = \arg\min_{\beta} \left\{ \|Y - X\beta\|_n + \lambda \Omega(\beta) \right\}$, 여기서 $\Omega$는 약한 분해 가능 노름이다.
• 이중 노름 $\Omega^*$와 카르쉬-쿤-터커(KKT) 조건을 사용하여 추정 오차 및 예측 오차에 대한 날카운 오라클 부등식을 유도한다.
• 약한 분해 가능성 개념을 적용하여 $\ell_1$를 초월한 스파arsity 유도 페널티를 일반화하고, 그룹, 융합 또는 정렬된 노름과 같은 구조적 스파arsity를 가능하게 한다.
• 감소하는 페널티 가중치 시퀀스를 사용하는 새로운 방법인 제곱근 SLOPE 추정기를 도입하여 스파arsity와 군집 성질을 통합한다.
• KKT 조건과 노름 성질을 활용하여 추정 오차 $\|\beta^0 - \hat{\beta}\|_1$ 및 예측 오차 $\|X(\beta^0 - \hat{\beta})\|_2$의 이론적 경계를 유도한다.
• 교차 검증과 표준 정규 분포의 분위수 기반 이론적 $\lambda$ 선택을 통해 정규화 파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 일반적인 약한 분해 가능 노름을 사용한 제곱근 정규화에 대해 날카운 오라클 부등식을 확립할 수 있는가?
• RQ2 군집 스파arsity 조건 하에서 제곱근 SLOPE 추정기와 제곱근 LASSO 추정기의 추정 오차 및 예측 오차는 어떻게 비교되는가?
• RQ3 구조적 노름을 사용할 경우 제곱근 정규화 프레임워크가 여전히 중심적(즉, 노이즈 분산에 독립적)인가?
• RQ4 SLOPE의 정렬된 L1-노름이 표준 $\ell_1$-페널티 방법에 비해 군집 변수 선택에 얼마나 향상되는가?
• RQ5 상관 구조를 가진 설계 행렬과 구조적 파라미터 벡터를 가진 고차원 설정에서 제곱근 SLOPE의 경험적 성능은 어떠한가?

주요 결과

• 제곱근 SLOPE 추정기는 군집 및 감소하는 파라미터 벡터 설정에서 추정 오차가 약간 악화되더라도 평균 제곱 예측 오차가 제곱근 LASSO보다 낮게 나타났다.
• 군집 케이스에서 $\beta^0 = (4,4,4,3,3,2,2)^T$일 때, 제곱근 SLOPE의 예측 오차는 3.65였고, 제곱근 LASSO는 4.25였다.
• 감소 케이스에서 $\beta^0 = (4, 3.6, 3.3, 3, 2.6, 2.3, 2)^T$일 때, 제곱근 LASSO는 추정 오차가 1.78로 더 우수했지만, 제곱근 SLOPE는 예측 오차가 더 낮았다.
• 랜덤 활성 집합 구성에서 제곱근 SLOPE는 예측 오차에서 일관되게 제곱근 LASSO를 앞섰으며, 평균 제곱 예측 오차는 각각 5.78과 6.67이었다.
• 이론적 $\lambda$ 값은 $\sigma$에 독립적으로 유도되었으며, 이는 방법의 중심성(피벗성)을 확인한 것으로, $\lambda \sim \Phi^{-1}(1 - \alpha/2p)/\sqrt{n-1}$이다.
• 약한 분해 가능 노름의 사용은 $\ell_1$-노름을 초월한 이론적 프레임워크를 일반화하여 진정한 스파arsity 구조를 반영하는 더 날카운 오라클 경계를 가능하게 하였다.