[논문 리뷰] The Statistical Complexity of Early-Stopped Mirror Descent

Tomas Vaškevičius, Varun Kanade외 1명|arXiv (Cornell University)|2020. 02. 01.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 제곱 손실을 가진 선형 및 커널 모델에 대해 조기 정지된 미러 강하의 통계적 성능과 오프셋 라데마처 복잡도 사이의 직접적인 연결을 수립한다. 제곱 손실에 대한 볼록성 부등식을 완성함으로써, 미러 강하 반복의 초과 위험은 미러 맵, 초기화, 스텝 사이즈, 반복 횟수로 정의된 함수 클래스의 오프셋 복잡도에 의해 유계화됨을 보여주며, 강한 볼록성 조건을 필요로 하지 않고 기존의 암묵적 정규화 결과를 복원하고 개선하는 깔끔하고 통합된 프레임워크를 제공한다.

ABSTRACT

Recently there has been a surge of interest in understanding implicit regularization properties of iterative gradient-based optimization algorithms. In this paper, we study the statistical guarantees on the excess risk achieved by early-stopped unconstrained mirror descent algorithms applied to the unregularized empirical risk with the squared loss for linear models and kernel methods. By completing an inequality that characterizes convexity for the squared loss, we identify an intrinsic link between offset Rademacher complexities and potential-based convergence analysis of mirror descent methods. Our observation immediately yields excess risk guarantees for the path traced by the iterates of mirror descent in terms of offset complexities of certain function classes depending only on the choice of the mirror map, initialization point, step-size, and the number of iterations. We apply our theory to recover, in a clean and elegant manner via rather short proofs, some of the recent results in the implicit regularization literature, while also showing how to improve upon them in some settings.

연구 동기 및 목표

• 명시적 정규화가 없는 조건에서 조기 정지된 미러 강하의 통계적 보장을 이해하기 위해.
• 잠재 기반 수렴 분석과 미러 강하에서의 오프셋 라데마처 복잡도 사이의 근본적인 관계를 규명하기 위해.
• 복잡도 측정치를 통한 초과 위험 경계를 유도하여 기존의 암묵적 정규화 결과를 통합하고 개선하기 위해.
• 조기 정지된 미러 강하가 명시적 정규화 모델과 유사한 성능을 달성할 수 있으며, 명시적 제약 조건이나 강한 볼록성 조건을 필요로 하지 않음을 보여주기 위해.

제안 방법

• 제곱 손실에 대한 볼록성 부등식을 완성하여 오프셋 라데마처 복잡도와 연결한다.
• 브레지엔 발산을 사용하여 알려지지 않은 매개변수 중심의 함수 클래스를 정의하고, 브레지엔 볼을 형성한다.
• 잠재 기반 수렴 분석을 적용하여 미러 강하의 데이터에 의존하는 정지 시간을 유도한다.
• Dψ(α, α₀) ≤ R로 정의된 함수 클래스 F(α₀, R)의 오프셋 복잡도를 통해 초과 위험 경계를 도출한다.
• 조기 정지된 미러 강하가 동일한 함수 클래스 위에서 ERM와 유사한 초과 위험을 달성함을 입증한다.
• 결과가 유한 차원 선형 모델과 커널 영역 모두에서 성립함을 보여주며, 작은 스텝 사이즈를 가진 부드러운 손실로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 오프셋 라데마처 복잡도는 조기 정지된 미러 강하의 초과 위험을 어떻게 경계할 수 있는가?
• RQ2 미러 강하에서 잠재 기반 수렴과 오프셋 복잡도 사이의 본질적 관계는 무엇인가?
• RQ3 조기 정지된 미러 강하는 명시적 정규화 모델과 유사한 통계적 성능을 달성할 수 있는가?
• RQ4 손실의 강한 볼록성이 요구되지 않는 조건에서 이 프레임워크는 커널 영역에서도 성립하는가?
• RQ5 복잡도 측정치를 통해 미러 강하의 이론적 분석을 경험 위험 최소화와 통합할 수 있는가?

주요 결과

• 조기 정지된 미러 강하의 초과 위험은 초기화로부터의 브레지엔 발산 반경 R인 함수 클래스 F(α₀, R)의 오프셋 라데마처 복잡도에 의해 유계화된다.
• 모든 ε > 0에 대해, t⋆ ≤ 2R/ε 를 만족하는 정지 시간 t⋆ 가 존재하며, 이때 기대 초과 위험은 c₁E[Rn(F(α₀, R) − gF(α₀,R), c₂)] + ε 이하로 유계화된다. 여기서 상수 c₁, c₂는 유계성 파rameter에만 의존한다.
• 결과는 유한 차원 선형 모델과 커널 영역 모두에서 성립하며, 작은 스텝 사이즈를 가진 부드러운 손실로도 확장 가능하다.
• 이 프레임워크는 릿지 및 라소 유사 경로에 대한 이전 결과를 복원하고 개선한다.
• 미러 강하 반복은 명시적 제약 조건이 없음에도 불구하고 동일한 브레지엔 볼 위에서 ERM 해와 거의 동일한 초과 위험 보장을 달성한다.
• 분석 과정에서 매개변수 α에 대한 손실의 강한 볼록성이 필요로 하지 않으며, 일반적인 볼록 및 비강한 볼록 설정으로의 적용 범위를 넓힌다.