[논문 리뷰] Accelerating Single-Pass SGD for Generalized Linear Prediction

Qian Hong Chen, Shihong Ding외 1명|arXiv (Cornell University)|2026. 03. 02.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 데이터 의존적 proximal 방법을 활용한 모멘텀 강화 스트리밍 알고리즘(SADA)을 도입하여 generalized linear prediction에 대해 단일 패스 SGD를 가속하고, 잘못 정의된 모델에서의 최적화 및 통계 용어를 개선된 형태로 달성하며, 스트리밍 GLP 설정에서 모멘텀 versus 분산 감소에 관한 미해결 문제를 해결한다.

ABSTRACT

We study generalized linear prediction under a streaming setting, where each iteration uses only one fresh data point for a gradient-level update. While momentum is well-established in deterministic optimization, a fundamental open question is whether it can accelerate such single-pass non-quadratic stochastic optimization. We propose the first algorithm that successfully incorporates momentum via a novel data-dependent proximal method, achieving dual-momentum acceleration. Our derived excess risk bound decomposes into three components: an improved optimization error, a minimax optimal statistical error, and a higher-order model-misspecification error. The proof handles mis-specification via a fine-grained stationary analysis of inner updates, while localizing statistical error through a two-phase outer-loop analysis. As a result, we resolve the open problem posed by Jain et al. [2018a] and demonstrate that momentum acceleration is more effective than variance reduction for generalized linear prediction in the streaming setting.

연구 동기 및 목표

• 스트리밍, 단일 패스 설정에서 GLP에 대한 가속화를 동기 부여한다.
• 내부와 외부 루프 모두에 모멘텀을 포함하는 데이터 의존적 proximal 알고리즘을 개발한다.
• 최적화, 통계, 잘못 정의로 인한 오차를 포착하는 refined 이론적 초과 위험 분해를 제공한다.
• 잘못 정의된 경우 스트리밍 GLP에서 모멘텀 가속이 분산 감소보다 우수할 수 있음을 보여준다.

제안 방법

• Stochastic Accelerated Data-Dependent Algorithm (SADA)가 모멘텀과 데이터 의존적 proximal 부분문제를 결합하도록 제안한다.
• 데이터 공분산 c Sigma e를 기반으로 하는 proximal 부분문제를 외부 루프에서 구성하되, 온라인으로 새로운 샘플로 근사한다.
• 각 proximal 부분문제를 모멘텀과 끝 평균화(velocity)로 구성된 가속 내부 루프로 해결하여 분산을 줄인다.
• 모형 오정의오( mis-specification )를 다층 피린-Decomposition 접근으로 내부 루프를 분석한다.
• 두 단계의 외부 루프 분석을 제공하여 통계적 오차를 국지화하고 확률적 노이즈를 제어한다.
• 최종 초과 위험 경계를 최적화, 통계, 잘못 정의 용어로 분해한다.

실험 결과

연구 질문

• RQ1 모멘텀 가속이 데이터 의존적 proximal 프레임워크를 사용한 스트리밍 일반화 선형 예측에 효과적으로 통합될 수 있는가?
• RQ2 모형 잘못 정의하에서 스트리밍 GLP에 대해 모멘텀이 분산 감소보다 우수한가?
• RQ3 내부 루프의 오정의와 외부 루프의 통계적 국지화가 전체 초과 위험에 어떻게 기여하는가?
• RQ4 두 루프 모두에서 이중 모멘텀을 사용할 때 최종 최적화 및 통계적 복잡도는 어떠한가?

주요 결과

• 제안된 SADA 알고리즘은 스트리밍 설정에서 generalized linear prediction에 대한 이중 모멘텀 가속을 달성한다.
• 초과 위험 경계는 최적화와 개선된 조건화가 포함된 최적화 항, 미니맥스 최적의 통계 항, 그리고 고차의 잘못 정의 항으로 분해된다.
• 모멘텀 가속은 잘못 정의된 상태에서 스트리밍 GLP에 대해 분산 감소보다 우수하다고 할 수 있으며, Jain et al. (2018a)가 제기한 미해결 문제를 해결한다.
• 최적화 항은 특정 조건화 시나리오에서 의존성을 에서 로 감소시키는 등, 이전 VR 기반 접근법보다 개선되며 특히 잘 조건화되지 않은 데이터에서 두드러진다.
• 통계 항은 최적 속도 \operatorname{tr}(H^{-1}Q)/\varepsilon와 일치하며, 잘 정의된 구성 요소에서 최소극 최적성을 지지한다.
• 프레임워크는 비표기 데이터, 미니배치 및 병렬화를 수용하며, 약하게 볼록한 목적에 대한 확장 가능성도 있다.