[논문 리뷰] On Acceleration with Noise-Corrupted Gradients

Michael B. Cohen, Jelena Diakonikolas외 1명|arXiv (Cornell University)|2018. 05. 31.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 노이즈로 오염된 기울기의 경우에 더 뛰어난 안정성을 보이는 새로운 가속화된 1차 최적화 알고리즘인 agd$^+$를 소개한다. Nesterov의 AGD를 일반화하며, 노이즈가 있는 오라클 하에서의 가속화에 대한 이론적 분석을 제공하여, 이전 방법들에 비해 오차의 평균과 분산을 감소시킴을 보여주며, 수치 실험을 통해 고노이즈 환경에서도 안정성을 입증한다. 특히 리스타트 및 슬로우다운 히우리스틱을 통합할 경우 더욱 뛰어난 성능을 발휘한다.

ABSTRACT

Accelerated algorithms have broad applications in large-scale optimization, due to their generality and fast convergence. However, their stability in the practical setting of noise-corrupted gradient oracles is not well-understood. This paper provides two main technical contributions: (i) a new accelerated method AGDP that generalizes Nesterov's AGD and improves on the recent method AXGD (Diakonikolas & Orecchia, 2018), and (ii) a theoretical study of accelerated algorithms under noisy and inexact gradient oracles, which is supported by numerical experiments. This study leverages the simplicity of AGDP and its analysis to clarify the interaction between noise and acceleration and to suggest modifications to the algorithm that reduce the mean and variance of the error incurred due to the gradient noise.

연구 동기 및 목표

• 실제 머신러닝 및 최적화에서 흔히 발생하는 노이즈로 오염된 기울기 오라클 하에서의 가속 알고리즘의 불안정성 문제를 해결하기 위해.
• Nesterov의 AGD를 일반화하고 기울기 노이즈에 대해 더 뛰어난 이론적·실험적 안정성을 보이는 새로운 가속 방법 agd$^+$를 개발하기 위해.
• 노이즈와 가속화의 상호작용을 분석하여, 노이즈가 가속화 방법의 수렴과 오차 누적에 미치는 영향을 명확히 하기 위해.
• 노이즈 수준에 대한 사전 지식이 없이도 오차의 평균과 분산을 줄이는 실용적인 히우리스틱(리스타트 및 슬로우다운)을 제안하기 위해.
• 실제 데이터를 사용한 LASSO 및 로지스틱 회귀 문제에서 다양한 노이즈 조건 하에 이론적 결과를 수치 실험을 통해 검증하기 위해.

제안 방법

• Diakonikolas & Orecchia(2017)의 연속 동역학 프레임워크에서 유도된 새로운 가속 알고리즘 agd$^+$를 제안하며, Nesterov의 AGD를 일반화한다.
• 다양한 오라클 모델 하에서 agd$^+$를 분석한다: 결정론적 편향( d’Aspremont, 2008; Devolder 등, 2014) 및 스토케스틱 가감 노이즈(Ghadimi & Lan, 2012, 2013).
• 기울기 노이즈가 수렴에 미치는 영향을 정량화하는 이론적 오차 경계를 유도하며, 이전 가속 방법보다 더 뛰어난 안정성을 입증한다.
• 이론적 통찰을 바탕으로 노이즈 누적 문제를 해결하기 위해 리스타트 및 슬로우다운 히우리스틱을 도입한다.
• 가속화와 노이즈에 대한 안정성 분석을 단순화하고 통합하기 위해 연속 시간 동역계 해석을 활용한다.
• L1 제약 조건이 있는 LASSO 및 로지스틱 회귀 문제에 대해 제어된 노이즈 수준 하에서 Epileptic Seizure Recognition Dataset을 사용한 수치 실험을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 노이즈로 오염된 기울기 오라클 하에서 가속 알고리즘의 성능은 어떻게 열화되며, 오차 누적을 이끄는 메커니즘은 무엇인가?
• RQ2 기존 방법보다 더 빠른 수렴을 유지하면서도 기울기 노이즈에 더 강건한 새로운 가속 알고리즘을 설계할 수 있는가?
• RQ3 기울기 오라클의 노이즈와 가속 1차 방법의 수렴 오차 사이의 이론적 관계는 무엇인가?
• RQ4 노이즈 분산에 대한 사전 지식 없이도 리스타트 및 슬로우다운 히우리스틱이 오차의 평균과 분산을 얼마나 줄일 수 있는가?
• RQ5 다양한 노이즈 수준 하에서 agd$^+$가 AGD, axgd 및 기타 가속 방법에 비해 수렴 속도와 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 낮은 노이즈 및 노이즈가 없는 환경에서는 agd$^+$가 표준 AGD보다 더 빠른 수렴을 보이며, 평균 오차 감소 측면에서 axgd 및 agd$^+$를 능가한다.
• 고노이즈 환경에서는 agd$^+$와 axgd가 표준 AGD보다 오차의 평균과 분산이 크게 낮게 나타나며, 후자는 불안정성과 높은 분산을 보인다.
• 리스타트 및 슬로우다운 히우리스틱은 고노이즈 환경에서 오차 분산을 감소시키며, 특히 agd$^+$의 안정성을 높여주지만 평균 오차에는 큰 영향을 주지 않는다.
• LASSO 및 로지스틱 회귀에 대한 수치 실험을 통해 agd$^+$가 반복 실행 시에도 뛰어난 안정성을 유지함을 확인하였다. 특히 고노이즈 조건에서 두드러진 성능을 보였다.
• 이론적 분석 결과, agd$^+$는 스토케스틱 노이즈 하에서 이전 가속 방법보다 더 날카로운 오차 경계를 보이며, 강凸한 경우에 특히 두드러진다.
• 이 연구는 노이즈에 대한 강건성이 가속화 자체에 내재되어 있지 않으며, 집합 기울기 정보를 활용하는 알고리즘적 수정이 안정성 향상에 상당한 기여를 할 수 있음을 입증한다.