[논문 리뷰] Parametrized Accelerated Methods Free of Condition Number

Chaoyue Liu, Mikhail A. Belkin|arXiv (Cornell University)|2018. 02. 28.

Matrix Theory and Algorithms참고 문헌 15인용 수 4

한 줄 요약

이 논문은 조건 수가 알려져 있지 않거나 잘못 추정되거나 유계가 아닐 경우에도 여전히 지수적 수렴성을 유지하는 매개변수화된 가속 경사 하강 방법을 제안한다. 조건 수를 자유 매개변수로 간주함으로써, 저스틴의 AGD, 체비셰프 반반복, SOR 방법에 대해 스펙트럼 수준의 수렴 속도를 명시적으로 유도하며, 이는 강한 볼록성이 없는 영역에서 표준 경사 하강법보다 빠르게 수렴하고, 조건 수 정확도에 관계없이 모든 고유값에서 지수적 수렴을 유지함을 증명한다.

ABSTRACT

Analyses of accelerated (momentum-based) gradient descent usually assume bounded condition number to obtain exponential convergence rates. However, in many real problems, e.g., kernel methods or deep neural networks, the condition number, even locally, can be unbounded, unknown or mis-estimated. This poses problems in both implementing and analyzing accelerated algorithms. In this paper, we address this issue by proposing parametrized accelerated methods by considering the condition number as a free parameter. We provide spectral-level analysis for several important accelerated algorithms, obtain explicit expressions and improve worst case convergence rates. Moreover, we show that those algorithm converge exponentially even when the condition number is unknown or mis-estimated.

연구 동기 및 목표

• 조건 수가 알려져 있지 않거나 크거나 무한대일 경우에 발생하는 모멘타움 기반 방법의 불안정성과 열악한 수렴성을 해결하기 위해.
• 조건 수에 대한 사전 지식이 필요 없는 매개변수화된 가속 알고리즘을 개발하기 위해.
• 네스테로프의 AGD 및 SOR을 포함한 주요 가속 방법에 대해 명시적인 스펙트럼 수준 수렴 속도 표현식을 제공하기 위해.
• 강한 볼록성 및 비강한 볼록성 영역 모두에서 이러한 방법의 지수적 수렴을 증명하기 위해.
• 조건 수 정보가 없을 경우에 다양한 방법과 매개변수 조합의 성능을 비교하기 위해.

제안 방법

• 조건 수 ρ를 필수 입력이 아닌 자유 매개변수로 간주하여 가속 방법을 매개변수화하기.
• 고유값 μ ∈ [0,1]에 대한 다항식 표현을 통해 스펙트럼 분석을 통해 수렴 속도의 명시적 표현을 도출하기.
• 가속 클래스 전체에 걸쳐 악성 경우 수렴 속도를 정량화하기 위해 '체비셰프 수'를 정의하고 계산하기.
• 강한 볼록성 영역(μ ≤ ρ)과 비강한 볼록성 영역(μ > ρ)에서의 수렴 행동 분석하기.
• 스펙트럼 수준의 다항식 Pk*(μ), Rk(μ), Nk(μ)을 사용하여 네스테로프의 AGD, 체비셰프, SOR 방법의 수렴 속도 비교하기.
• 비강한 볼록성 영역에서 즉 μ > ρ일 경우에도 각 고유값에 대해 지수적 수렴이 이루어짐을 증명하기.

실험 결과

연구 질문

• RQ1 조건 수가 알려져 있거나 잘못 추정되었을 경우에도 가속 경사 하강 방법이 지수적 수렴을 유지할 수 있는가?
• RQ2 네스테로프의 AGD, 체비셰프, SOR 방법의 명시적 스펙트럼 수준 수렴 속도는 무엇인가?
• RQ3 비강한 볼록성 영역에서 이러한 가속 방법의 수렴 속도는 어떻게 비교되는가?
• RQ4 가속 매개변수 ρ의 선택이 수렴 속도에 영향을 미치는가? 만약 그렇다면 어떤 방식으로?
• RQ5 매개변수화된 가속 방법이 비강한 볼록 설정에서 표준 경사 하강법보다 균일하게 더 빠르게 수렴할 수 있는가?

주요 결과

• 네스테로프의 AGD, 체비셰프, SOR를 포함한 세 가지 가속 방법 모두, 조건 수가 알려져 있거나 잘못 추정되었을 경우에도 모든 고유값에서 지수적 수렴을 보인다.
• 비강한 볼록성 영역(μ ∈ (ρ,1))에서는 모든 가속 방법이 표준 경사 하강법(거듭제곱 법)보다 빠르게 수렴하며, 네스테로프의 AGD와 SOR는 거듭제곱 법을 능가한다.
• 체비셰프 반반복 방법은 가속 클래스 중에서 가장 빠른 악성 경우 수렴 속도를 보이며, 네스테로프의 AGD는 가장 느린다.
• 가속 매개변수 ρ의 값이 작을수록 강한 볼록성 영역에서는 체비셰프 수가 감소하고 수렴 속도가 빨라지지만, 비강한 볼록성 영역에서는 수렴 속도가 느려진다.
• 수렴 속도는 헤시안의 스펙트럼 분포에 따라 달라지며, 작은 고유값(큰 헤시안 고유값)일수록 더 빠르게 수렴한다.
• 매개변수화된 방법은 헤시안 스펙트럼이 구간 [0,ρ]를 벗어나는 경우에도 여전히 유효하고 수렴성을 유지한다. 즉, 비강한 볼록성 영역에서도 성립한다.