[논문 리뷰] A generalization of regularized dual averaging and its dynamics

Shih-Kang Chao, Guang Cheng|arXiv (Cornell University)|2019. 09. 22.

Advanced Optimization Algorithms Research참고 문헌 89인용 수 16

한 줄 요약

이 논문은 온라인 학습을 위한 상수 단계 크기의 일반화된 정규화된 이중 평균(gRDA) 알고리즘을 소개하며, 구조적 파라미터에 대한 약한 수렴 분석 및 점근적 분포 이론을 가능하게 한다. 이는 온라인 $\varepsilon_1$-패널티 문제에 대해 평균이 0인 최초의 점근적 정규성 이론을 수립하여, 희소 온라인 회귀 및 주성분 분석에서 타당한 통계적 추론과 서포트 복원을 가능하게 하며, 배치 Lasso의 편향된 수렴 분포와 대비된다.

ABSTRACT

Excessive computational cost for learning large data and streaming data can be alleviated by using stochastic algorithms, such as stochastic gradient descent and its variants. Recent advances improve stochastic algorithms on convergence speed, adaptivity and structural awareness. However, distributional aspects of these new algorithms are poorly understood, especially for structured parameters. To develop statistical inference in this case, we propose a class of generalized regularized dual averaging (gRDA) algorithms with constant step size, which improves RDA (Xiao, 2010; Flammarion and Bach, 2017). Weak convergence of gRDA trajectories are studied, and as a consequence, for the first time in the literature, the asymptotic distributions for online l1 penalized problems become available. These general results apply to both convex and non-convex differentiable loss functions, and in particular, recover the existing regret bound for convex losses (Nemirovski et al., 2009). As important applications, statistical inferential theory on online sparse linear regression and online sparse principal component analysis are developed, and are supported by extensive numerical analysis. Interestingly, when gRDA is properly tuned, support recovery and central limiting distribution (with mean zero) hold simultaneously in the online setting, which is in contrast with the biased central limiting distribution of batch Lasso (Knight and Fu, 2000). Technical devices, including weak convergence of stochastic mirror descent, are developed as by-products with independent interest. Preliminary empirical analysis of modern image data shows that learning very sparse deep neural networks by gRDA does not necessarily sacrifice testing accuracy.

연구 동기 및 목표

• 스토케스틱 알고리즘에 구조적 파라미터 패널티가 적용된 경우, 특히 온라인 및 스트리밍 환경에서 통계적 추론 도구의 부족을 해결하기 위해.
• 온라인 $\ell_1$-패널티 문제에 대해 약한 수렴 분석 및 점근적 분포 이론을 지원하는 일반화된 정규화된 이중 평균(gRDA) 프레임워크를 개발하기 위해.
• 온라인 희소 추정이 서포트 복원과 함께 점근적으로 정규적이고 평균이 0인 수렴 분포를 달성할 수 있는 조건을 수립하기 위해 — 배치 Lasso의 편향된 추론과는 대조적으로.
• 온라인 최적화 분야에 더 넓은 적용을 가능하게 하기 위해, 스토케스틱 미러 강하의 약한 수렴과 같은 이론적 도구를 확장하기 위해.
• 온라인 희소 선형 회귀 및 희소 주성분 분석에 대한 광범위한 수치 분석을 통해 이론을 검증하기 위해 — 커버리지 확률 및 궤적 행동을 포함하여.

제안 방법

• 상수 단계 크기를 갖는 일반화된 RDA 프레임워크를 제안하며, 시간에 따라 변하는 패널티 항 $ c_0 n \gamma \mathcal{P}(\mathbf{w}) $ 와 강하게 볼록한 정규화 항 $ F(\mathbf{w}) $ 를 포함하여, 표준 RDA 및 SGD를 일반화한다.
• 손실 함수와 기울기 노이즈에 대한 온건한 조건 하에서, 스토케스틱 미분 방정식(SDE) 근사 기법을 사용하여 gRDA 궤적의 약한 수렴을 분석하고, 점근적 정규성을 확립한다.
• 추정기의 점근적 분포를 기대 기울기의 헤시안과 패널티 구조에 의존하는 공분산 행렬을 갖는 중심화된 정규분포로 유도한다.
• 온라인 희소 선형 회귀 및 온라인 희소 주성분 분석에 프레임워크를 적용하여, 추정기의 이론적 신뢰구간(TACB)을 유도한다.
• 시간 스케일링 기법을 사용하여 알고리즘의 역학을 분석하고, 특히 안장점과 정적 해 근처에서 궤적의 분기 및 수렴 패턴을 설명한다.
• 1000회의 반복을 포함한 시뮬레이션 연구를 통해 점근 이론을 검증하며, 단계 크기 $\gamma$ 를 함수로 하는 신뢰구간의 커버리지 확률을 측정한다.

실험 결과

연구 질문

• RQ1 온라인 $\ell_1$-패널티가 적용된 스토케스틱 알고리즘이 동시에 서포트 복원과 점근적으로 정규적이고 평균이 0인 수렴 분포를 달성할 수 있는가?
• RQ2 온라인 설정에서 gRDA 궤적의 약한 극한은 무엇이며, 단계 크기와 패널티 구조에 어떻게 의존하는가?
• RQ3 온라인 $\ell_1$-패널티 추정기의 점근적 분포는 배치 Lasso와 어떻게 다를까? 특히 편향 측면에서.
• RQ4 안장점 근처에서 경험적 궤적의 안정성과 분산에 영향을 주는 헤시안 유사 행렬 $ -\nabla G(\mathbf{w}(t)) $ 는 어떤 역할을 하는가?
• RQ5 이론적 신뢰구간(TACB)은 온라인 희소 추정의 유한 표본 불확실성을 정확히 포괄할 수 있으며, 더 작은 단계 크기에서 커버리지가 향상되는가?

주요 결과

• 온라인 $\ell_1$-패널티 문제에 대해 gRDA 추정기의 점근적 분포는 평균이 0인 중심화된 분포이며, 이는 배치 Lasso의 편향된 수렴 분포와 대비된다. 이는 타당한 통계적 추론을 가능하게 한다.
• 이론적 점근적 신뢰구간(TACB)의 평균 커버리지 확률은 단계 크기 $\gamma$ 가 감소할수록 향상되며, 제안된 추론 프레임워크의 점근적 타당성을 확인한다.
• 적절하게 튜닝된 gRDA는 온라인 희소 선형 회귀 및 희소 주성분 분석에서 동시에 서포트 복원과 점근적으로 정규적이고 평균이 0인 수렴 분포를 달성한다.
• 온라인 희소 주성분 분석에서 경험적 궤적은 안장점 근처에서 큰 분산으로 인해 분기하고, 예를 들어 $\pm 10^{-1/2}$ 와 같은 다른 정적 해로 수렴하는 경향을 보이며, 특히 헤시안 고유값이 양수일 경우 두드러진다.
• 헤시안 유사 행렬 $ -\nabla G(\mathbf{w}(t)) $ 가 양의 고유값을 갖는 경우 SDE 근사에서 신뢰구간의 너비가 증가하며, 고유값이 음수가 되는 $ t=5 $ 이후에야 안정화된다.
• 이미지 데이터에 대한 초도 실험 결과는 gRDA가 테스트 정확도에 큰 손실 없이 매우 희소한 딥 네ural 네트워크를 훈련시킬 수 있음을 보여주며, 실용적 유용성을 뒷받침한다.