[논문 리뷰] Stochastic Composite Least-Squares Regression with convergence rate O(1/n)

Nicolas Flammarion, Francis Bach|arXiv (Cornell University)|2017. 02. 21.

Economic and Environmental Valuation인용 수 4

한 줄 요약

이 논문은 복합 최소 제곱 회귀 문제에 대해 일정한 스텝 사이즈를 사용하는 확률적 이중 평균 알고리즘을 제안하며, 강한 볼록성 조건 없이도 O(1/n) 수렴 속도를 달성한다. 이는 이전 결과를 임의의 볼록 정규화자와 브레그만 기하학으로 확장하며, 확률적 및 결정적 재귀관계를 연결하는 새로운 증명 기법을 통해 이룩된다.

ABSTRACT

We consider the minimization of composite objective functions composed of the expectation of quadratic functions and an arbitrary convex function. We study the stochastic dual averaging algorithm with a constant step-size, showing that it leads to a convergence rate of O(1/n) without strong convexity assumptions. This thus extends earlier results on least-squares regression with the Euclidean geometry to (a) all convex regularizers and constraints, and (b) all geome-tries represented by a Bregman divergence. This is achieved by a new proof technique that relates stochastic and deterministic recursions.

연구 동기 및 목표

• 강한 볼록성 조건 없이 복합 최소 제곱 문제에서의 확률적 최적화에 대해 O(1/n) 수렴 속도를 확립하는 것.
• 유럽 기하학을 넘어서 일반적인 브레그만 발산으로 수렴 보장을 확장하여, 불량 조건 또는 구조적 설정에서 더 나은 수렴을 가능하게 하는 것.
• ℓ₁-노름, 제약 조건을 위한 지표 함수, 기타 노름을 포함한 임의의 볼록 정규화자를 처리할 수 있는 통합 프레임워크를 개발하는 것.
• 수렴 속도에 영향을 주는 최초의 거리 측정을 유클리드 거리가 아닌 마할라노비스 거리 기반으로 하는 비점근적 수렴 경계를 제공하는 것.
• 불량 조건의 최소 제곱 문제에서 일정 스텝 사이즈 방법의 강건성에 대한 이론적 근거를 제공하는 것.

제안 방법

• 일정한 스텝 사이즈와 평균화를 사용하는 확률적 이중 평균(SDA) 알고리즘을 적용하며, 수렴 안정성을 높이기 위해 이중 공간 업데이트를 활용한다.
• 확률적 반복과 그 결정적 대응체를 연결하는 새로운 증명 기법을 도입하여, 이전 접근보다 더 날카운 비점근적 경계를 가능하게 한다.
• ℓ(z,·)가 이차 함수이고 g가 임의의 확장가능한 볼록 함수인 형태의 문제 min_θ E_z[ℓ(z,θ)] + g(θ)에 적용한다.
• 잠재 함수 h를 통해 브레그만 발산으로 프레임워크를 일반화하여, 유클리드 노름을 초월한 기하학 인식 최적화를 가능하게 한다.
• D_h(θ*, θ₀)/n 비례하는 수렴 속도를 도출하며, 여기서 D_h는 h에 관련된 브레그만 발산이다. 이는 특정 경우에 ℓ₂ 기반 경계보다 향상된 수렴을 가능하게 한다.
• 연속 시간 해석을 활용하여 미러 강하와 이중 평균의 동등성을 밝혀내며, 특정 조건 하에서 이들의 동치성을 제공한다.

실험 결과

연구 질문

• RQ1 일정한 스텝 사이즈를 사용하는 확률적 이중 평균이 강한 볼록성 가정 없이 복합 최소 제곱 문제에서 O(1/n) 수렴 속도를 달성할 수 있는가?
• RQ2 수렴 속도를 유클리드 기하학을 넘어서 일반적인 브레그만 발산으로 확장할 수 있는가?
• RQ3 초기 최적점까지의 거리가 수렴 속도에 미치는 영향은 무엇이며, 이를 마할라노비스 유사 노름으로 측정할 수 있는가?
• RQ4 왜 평균화된 투영 확률적 경사 하강법은 제약 조건이 있는 설정에서 일정한 스텝 사이즈를 사용할 때 실패하는가? SDA는 이를 어떻게 해결하는가?
• RQ5 제안된 프레임워크는 연속 시간 역학을 통해 미러 강하와 이중 평균을 통합할 수 있는가?

주요 결과

• 일정한 스텝 사이즈를 사용하는 확률적 이중 평균 알고리즘이 강한 볼록성 조건 없이도 복합 최소 제곱 문제에서 O(1/n) 수렴 속도를 달성한다.
• 수렴 속도는 D_h(θ*, θ₀)/n로 제한되며, 여기서 D_h는 볼록 잠재 함수 h에 관련된 브레그만 발산이다. 이는 비유클리드 기하학에서 더 빠른 수렴을 가능하게 한다.
• 이중 평균 프레임워크를 통해 ℓ₁-노름, 제약 조건을 위한 지표 함수, 기타 노름을 포함한 임의의 볼록 정규화자를 처리할 수 있다.
• 증명 기법은 확률적 및 결정적 재귀관계 사이에 새로운 연결 고리를 형성하여, 이전 접근보다 더 날카운 비점근적 경계를 가능하게 한다.
• Sido 데이터셋에 대한 시뮬레이션 결과, 일반화 오차 측면에서 일정 스텝 사이즈 SDA는 최신의 유한합 방법인 SAGA와 유사한 성능을 보이며, 특히 정규화가 낮은 영역에서 뛰어난 성능을 나타낸다.
• 정규화가 높은 설정에서는 SDA가 서브라인어 수렴을 보이며 결국 SAGA와 일치하는 반면, 일정 스텝 사이즈 SGD는 수렴하지 못함을 확인하여 SDA의 강건성을 입증한다.