[논문 리뷰] Convergence Analysis of Optimization Algorithms

Hyoung-seok Kim, Ji‐Hoon Kang외 6명|arXiv (Cornell University)|2017. 07. 06.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 12

한 줄 요약

이 논문은 볼록이고 리프시츠 연속인 목적 함수에 대한 최적화 알고리즘의 수렴 분석을 제공하며, 전통적인 1차 방법(SGD, 모멘타ム, 네스테로프)과 적응형 방법(아다그램, 아담)을 비교한다. 이는 적응형 방법이 떨어진 헤시안 추정으로 인해 조기 수렴에 비해 최적의 수렴을 이룰 수 없음을 보여주는 리그레트 경계를 유도한다.

ABSTRACT

The regret bound of an optimization algorithms is one of the basic criteria for evaluating the performance of the given algorithm. By inspecting the differences between the regret bounds of traditional algorithms and adaptive one, we provide a guide for choosing an optimizer with respect to the given data set and the loss function. For analysis, we assume that the loss function is convex and its gradient is Lipschitz continuous.

연구 동기 및 목표

• 볼록성과 리프시츠 연속 목적 함수 조건 하에서 1차 및 적응형 최적화 알고리즘의 리그레트 경계를 분석하고 비교하는 것.
• 딥 러닝에서 인기 있음에도 불구하고 아담과 같은 적응형 방법이 실무에서 성능이 떨어지는 이유를 설명하는 것.
• 데이터 세트 및 손실 함수 특성에 기반한 최적화기 선택을 위한 이론적 안내를 제공하는 것.
• 리그레트 최소화 프레임워크를 사용하여 확률적 경사 하강법과 적응형 방법의 수렴 행동을 체계화하는 것.

제안 방법

• 수렴 분석의 주요 성능 지표로 리그레트 경계 $ R_J(T) = \sum_{t=1}^T [J(\theta_t) - J(\theta^*)] $ 를 사용한다.
• 목적 함수 $ J(\theta) $ 가 볼록하고 기울기가 $ L $-리프시츠 연속임을 가정하여, $ J(y) \leq J(x) + \langle \nabla J(x), y-x \rangle + \frac{L}{2}\|y-x\|^2 $ 를 보장한다.
• 단계 크기 $ \eta \in (0, 1/L] $ 를 갖는 SGD에 대해 $ O(\|\theta_1 - \theta^*\|^2) $ 의 리그레트 경계를 도출하여 일정 오차 경계로의 수렴을 보여준다.
• 적응형 방법(아다그램, 아담)을 분석하기 위해 기울기의 누적 합 $ s_{t,i} = \|g_{1:t,i}\|_2 $ 를 통해 적응형 학습률을 모델링한다.
• 귀납법과 노름 부등식을 사용하여 합 $ \sum_{t=1}^T \frac{\hat{m}_{t,i}^2}{\sqrt{t \hat{v}_{t,i}}} $ 의 상한을 도출하며, 이는 $ \|g_{1:T,i}\|_2 $ 와 하이퍼파ram터 $ \beta_1, \beta_2 $ 에 의존함을 보여준다.
• 핵심 파라미터 $ \gamma = \beta_1^2 / \sqrt{\beta_2} $ 를 도입하여, $ \gamma < 1 $ 이면 아담 유사 방법의 리그레트가 유계임을 보여준다.

실험 결과

연구 질문

• RQ1 동일한 가정 하에서 전통적인 1차 최적화 방법의 리그레트 경계와 적응형 방법의 리그레트 경계는 어떻게 비교되는가?
• RQ2 아담과 같은 적응형 방법은 수렴 속도 향상을 위해 설계되었지만, 실무에서 SGD만큼 잘 수렴하지 못할 수 있는 이유는 무엇인가?
• RQ3 적응형 최적화 알고리즘의 수렴 성능에 있어 헤시안 행렬 추정의 역할은 무엇인가?
• RQ4 아담의 리그레트 경계가 유계로 유지되기 위한 $ \beta_1 $ 과 $ \beta_2 $ 의 조건은 무엇인가?
• RQ5 기울기 역사 $ \|g_{1:t,i}\|_2 $ 의 구조는 적응형 최적화기의 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• 단계 크기 $ \eta \in (0, 1/L] $ 를 갖는 표준 SGD의 리그레트 경계는 $ R_J(T) \leq \frac{1}{2\eta} \|\theta_1 - \theta^*\|^2 $ 로, 일정 오차 경계로의 수렴을 나타낸다.
• 아담과 같은 적응형 방법은 떨어진 헤시안 추정으로 인해 빠른 초반 진전에도 불구하고 수렴 성능이 떨어질 수 있다.
• 아담의 경우 리그레트 경계는 $ \frac{2L_\infty}{(1 - \gamma)^2 \sqrt{1 - \beta_2}} \|g_{1:T,i}\|_2 $ 로 유계지며, 여기서 $ \gamma = \beta_1^2 / \sqrt{\beta_2} $ 이며 하이퍼파ram터에 의존함을 보여준다.
• 분석 결과 $ \gamma < 1 $ 이 아담에서 유계 리그레트를 확보하기 위한 필수 조건임을 밝혀내었으며, 이는 높은 $ \beta_1 $ 과 낮은 $ \beta_2 $ 가 불안정성을 유도할 수 있음을 시사한다.
• 적응형 방법의 리그레트 경계는 기울기 역사에 대한 $ \ell_2 $-노름에 비례하므로, 장기적인 기울기 분산이 수렴에 영향을 미칠 수 있음을 시사한다.
• 이론적 분석은 실험 결과를 뒷받침한다: 적응형 방법은 수렴 속도가 빠르지만, 헤시안 근사가 떨어져 일반화 성능이 떨어질 수 있다.