[논문 리뷰] Implicit regularization via hadamard product over-parametrization in high-dimensional linear regression

Peng Zhao, Yun Yang외 1명|arXiv (Cornell University)|2019. 03. 22.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 19

한 줄 요약

이 논문은 고차원 선형 회귀에서 히드라드 곱의 과다 매개변수화를 사용하여 경사하강법을 통한 암묵적 정규화를 유도하는 것을 제안한다. 비볼록성에도 불구하고, 작은 초기화와 조기 정지 조건 하에서, 방법은 명시적 페널티 편향 없이 파arametric root-n 속도에 도달하는 거의 희박한, 최적 속도를 갖는 해로 수렴한다. 이는 명시적 정규화보다 정확도에서 뛰어나다.

ABSTRACT

We consider Hadamard product parametrization as a change-of-variable (over-parametrization) technique for solving least square problems in the context of linear regression. Despite the non-convexity and exponentially many saddle points induced by the change-of-variable, we show that under certain conditions, this over-parametrization leads to implicit regularization: if we directly apply gradient descent to the residual sum of squares with sufficiently small initial values, then under proper early stopping rule, the iterates converge to a nearly sparse rate-optimal solution with relatively better accuracy than explicit regularized approaches. In particular, the resulting estimator does not suffer from extra bias due to explicit penalties, and can achieve the parametric root-$n$ rate (independent of the dimension) under proper conditions on the signal-to-noise ratio. We perform simulations to compare our methods with high dimensional linear regression with explicit regularizations. Our results illustrate advantages of using implicit regularization via gradient descent after over-parametrization in sparse vector estimation.

연구 동기 및 목표

• 히드라드 곱을 통한 과다 매개변수화가 고차원 선형 회귀에서 암묵적 정규화를 유도할 수 있는지 조사하기.
• 이 과다 매개변수화 방식 하에서 경사하강법의 수렴 성질을 분석하기.
• 결과로 도출된 추정기의 성능을 희박성과 추정 정확도 측면에서 명시적 정규화 방법과 비교하기.
• 차원에 관계없이 파arametric root-n 속도를 달성할 수 있는 조건을 설정하기.
• 정규화된 회귀에서 발생하는 명시적 페널티 항에 의해 유도되는 편향을 피할 수 있는지 보여주기.

제안 방법

• 논문은 최소 제곱 문제에서 변수 변환으로서 히드라드 곱 매개변수화를 사용하여 과다 매개변수화를 도입한다.
• 재매개변수화된 공식화 하에서 잔차 제곱합에 직접적으로 경사하강법을 적용한다.
• 작은 초기값을 사용하여 암묵적 정규화 효과 하에서 희박한 해로 수렴하도록 보장한다.
• 과적합을 방지하고 추정 정확도를 유지하기 위해 조기 정지 규칙을 적용한다.
• 수렴성과 최적 속도를 도출하기 위해 신호 대 잡음비 조건 하에서 이론적 분석을 수행한다.
• 시뮬레이션을 통해 제안된 방법을 명시적 정규화 기법과 실증적으로 비교한다.

실험 결과

연구 질문

• RQ1 히드라드 곱 과다 매개변수화가 고차원 선형 회귀에서 암묵적 정규화를 유도할 수 있는가?
• RQ2 작은 초기화와 조기 정지를 통한 경사하강법이 이 매개변수화 하에서 거의 희박한 해로 수렴하는가?
• RQ3 적절한 신호 대 잡음비 조건 하에서 결과 추정기가 차원에 관계없이 파arametric root-n 속도를 달성할 수 있는가?
• RQ4 이 암묵적 정규화 방법의 성능은 추정 정확도와 희박성 측면에서 명시적 정규화와 비교해 어떻게 되는가?
• RQ5 이 방법은 정규화된 회귀에서 발생하는 명시적 페널티 항에 의해 유도되는 편향을 피할 수 있는가?

주요 결과

• 문제가 비볼록이고 지수적으로 많은 안장점을 가짐에도 불구하고, 암묵적 정규화를 통해 거의 희박한 해를 도출한다.
• 적절한 조기 정지와 작은 초기화 조건 하에서, 반복값은 파arametric root-n 속도에 도달하는 최적 속도의 해로 수렴한다.
• 결과로 도출된 추정기는 라소나 릿지와 같은 명시적 정규화 방법에서 발생하는 추가적인 편향을 피한다.
• 시뮬레이션 결과, 고차원 설정 하에서 추정 정확도 측면에서 제안된 방법이 명시적 정규화를 능가함을 보여준다.
• 파arametric root-n 속도를 달성할 수 있는 조건으로서의 신호 대 잡음비에 대한 이론적 조건을 규명하였다.
• 이 방법은 고차원성에 대해 강건성을 보이며, 특징 수와 무관하게 최적 수렴 속도를 유지한다.