[논문 리뷰] Shadowing Properties of Optimization Algorithms

Antonio Orvieto, Aurélien Lucchi|arXiv (Cornell University)|2019. 11. 12.

Model Reduction and Neural Networks인용 수 10

한 줄 요약

이 논문은 강한 볼록성 또는 안정한 안장점 근처에서 Gradient Descent와 Heavy-ball 방법이 그에 해당하는 상미분방정식(OED) 모델을 그림자로 따라가며, 미세한 초기 조건의 변동이 허용될 경우 이산 알고리즘의 반복값이 연속적인 ODE 궤적을 정확히 따라가게 된다고 밝힌다. 이는 표준 ODE 근사에서 발생하는 지수적 오차 증가 문제를 해결한다.

ABSTRACT

Ordinary differential equation (ODE) models of gradient-based optimization methods can provide insights into the dynamics of learning and inspire the design of new algorithms. Unfortunately, this thought-provoking perspective is weakened by the fact that, in the worst case, the error between the algorithm steps and its ODE approximation grows exponentially with the number of iterations. In an attempt to encourage the use of continuous-time methods in optimization, we show that, if some additional regularity on the objective is assumed, the ODE representations of Gradient Descent and Heavy-ball do not suffer from the aforementioned problem, once we allow for a small perturbation on the algorithm initial condition. In the dynamical systems literature, this phenomenon is called shadowing. Our analysis relies on the concept of hyperbolicity, as well as on tools from numerical analysis.

연구 동기 및 목표

• 이산 최적화 알고리즘이 시간이 지남에 따라 그 ODE 근사와 지수적으로 벗어나는 기본 문제를 해결하기 위해.
• 표준 수치적 통합 오차가 존재함에도 불구하고 이산 반복값이 연속적인 ODE 궤적을 얼마나 잘 따라가는지에 대한 조건을 설정하기 위해.
• 동역학계 이론에서 유래한 '그림자' 개념을 최적화에 도입하여 연속시간 모델과 이산 알고리즘 간의 엄밀한 연결 고리를 만들기 위해.
• 기계학습에서 ODE 기반 분석을 활용해 수렴 보장을 도출하거나 새로운 알고리즘을 설계하기 위한 이론적 기반을 마련하기 위해.
• 강한 볼록성 또는 임계점 근처에서 안정한 안장점 조건을 만족할 경우 Gradient Descent와 Heavy-ball이 그림자 성질을 유지하는지 입증하기 위해.

제안 방법

• 이론적 동역학계에서의 그림자 개념을 활용하여, 이산 알고리즘(가짜 궤적)이 작은 초기 조건의 변동이 있을 경우 진정한 궤적(ODE 해)을 따라가게 된다는 점을 활용한다.
• 수치 해석학 및 비선형 이론의 도구를 적용하여, 목적 함수가 규칙성 조건을 만족할 경우 GD와 HB의 ODE 흐름이 이산적 대응체에 의해 그림자화됨을 보여준다.
• 단계 크기 $ h $, 관성 계수 $ \beta $, 헤시안 고유값에 대한 가정 하에 단계 공간에서 Heavy-ball 사상이 선형적으로 비선형임을 선형 비선형성 분석을 통해 증명한다.
• 통합기 방정식의 잔여항을 활용해 이산 알고리즘과 ODE 궤적 간 오차 한계를 유도하며, 단계당 $ \mathcal{O}(h^2) $ 의 국소 오차를 보인다.
• 연속적인 르아프노프 함수로부터 이산 르아프노프 함수를 재구성할 필요 없이, 그림자 개념을 통한 위상적 동치성에 초점을 맞춰 분석함으로써 르아프노프 함수 의존성을 피한다.
• 기계학습 문제에 대한 실험을 통해 이론적 결과의 타당성을 검증하며, 제시된 조건 하에서 이산 알고리즘 반복값과 ODE 흐름 간의 경험적 일치를 보여준다.

실험 결과

연구 질문

• RQ1 Gradient Descent와 Heavy-ball의 이산 반복값이 그에 해당하는 ODE 모델의 그림자로 간주될 수 있는 조건은 무엇인가?
• RQ2 이산 알고리즘의 ODE 근사에서 흔히 발생하는 지수적 오차 증가 문제는 초기 조건에 대한 미세한 변동을 통해 완화될 수 있는가?
• RQ3 동역학계 이론에서 유래한 비선형성 및 그림자 이론은 기계학습의 최적화 알고리즘에 어떻게 적용될 수 있는가?
• RQ4 연속시간 ODE 분석이 이산 최적화에서 수렴 보장 도출이나 새로운 알고리즘 설계에 얼마나 신뢰성 있게 활용될 수 있는가?
• RQ5 목적 함수가 강한 볼록성 또는 안정한 안장점 근처에 있을 경우 최적화 알고리즘이 그림자 성질을 가지는가?

주요 결과

• 강한 볼록성 또는 안정한 안장점 근처일 경우 Gradient Descent와 Heavy-ball 알고리즘이 그에 해당하는 ODE 모델을 그림자로 따라간다.
• 단계 크기 $ h \leq \sqrt{2/L} $ 이며 관성 계수 $ \beta = 1 - \alpha h \in [0,1) $ 를 만족할 경우 그림자 성질이 성립하며, 이는 이산 사상이 선형적으로 비선형임을 보장한다.
• 이차 목적 함수의 경우, 헤시안 행렬이 영 고유값을 가지며 단계 크기와 관성 계수가 위 조건을 만족할 경우 Heavy-ball 방법의 이산 사상은 단계 공간에서 선형적으로 비선형임이 증명된다.
• 이산 알고리즘과 ODE 궤적 간 오차는 단계당 $ \mathcal{O}(h^2) $ 로 유한하며, 전반적인 오차는 시간에 대해 선형적으로만 증가하여 지수적 붕괴를 방지한다.
• 이론적 결과는 기계학습 문제에 대한 실험을 통해 경험적으로 검증되었으며, 제시된 조건 하에서 알고리즘 반복값과 ODE 궤적 간 밀접한 일치가 관찰되었다.
• 이 작업은 최적화 분야에서 그림자 이론을 처음으로 적용한 것으로, 르아프노프 함수 의존성 없이 연속 및 이산 동역학 간의 연결 고리를 제공하는 새로운 프레임워크를 제안한다.