[논문 리뷰] Theoretical Interpretation of Learned Step Size in Deep-Unfolded Gradient Descent

Satoshi Takabe, Tadashi Wadayama|arXiv (Cornell University)|2020. 01. 15.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 9

한 줄 요약

이 논문은 딥 언폴드 그래디언트 디센트(DUGD)에서 학습된 스텝 사이즈의 이론적 해석을 제공하며, 훈련 중에 학습되는 직관적이지 않은 진동형 스텝 사이즈 시퀀스가 반복 행렬의 고유값 스펙트럼 반경에 대한 상한을 최소화함으로써 유도되는 체비셰프 스텝으로 자연스럽게 유도됨을 보여준다. 체비셰프 스텝은 모멘텀 없이도 일阶 방법의 이론적 수렴 속도 하한을 달성하며, DUGD에서 관찰된 가속화 현상을 설명한다.

ABSTRACT

Deep unfolding is a promising deep-learning technique in which an iterative algorithm is unrolled to a deep network architecture with trainable parameters. In the case of gradient descent algorithms, as a result of the training process, one often observes the acceleration of the convergence speed with learned non-constant step size parameters whose behavior is not intuitive nor interpretable from conventional theory. In this paper, we provide a theoretical interpretation of the learned step size of deep-unfolded gradient descent (DUGD). We first prove that the training process of DUGD reduces not only the mean squared error loss but also the spectral radius related to the convergence rate. Next, we show that minimizing the upper bound of the spectral radius naturally leads to the Chebyshev step which is a sequence of the step size based on Chebyshev polynomials. The numerical experiments confirm that the Chebyshev steps qualitatively reproduce the learned step size parameters in DUGD, which provides a plausible interpretation of the learned parameters. Additionally, we show that the Chebyshev steps achieve the lower bound of the convergence rate for the first-order method in a specific limit without learning parameters or momentum terms.

연구 동기 및 목표

• 딥 언폴드 그래디언트 디센트(DUGD)에서 관찰되는 비직관적이고 학습된 스텝 사이즈 패턴을 설명하는 것 — 이는 수렴 속도를 가속화하지만, 전통적인 최적화 이론으로서는 직관적으로 설명하기 어려운 패턴이다.
• DUGD에서 평균 제곱 오차(MSE) 손실을 최소화할 경우, 수렴 속도의 핵심 요소인 스펙트럼 반경이 암묵적으로 감소함을 보여주는 것.
• 스펙트럼 반경에 대한 상한을 최소화함으로써 학습된 스텝 사이즈의 이론적 기반을 확립하고, 체비셰프 기반의 스텝 시퀀스를 도출하는 것.
• 체비셰프 스텝이 모멘텀 없이도 일阶 방법의 이론적 수렴 속도 하한을 달성함을 보여주는 것.
• 수치 실험을 통해 학습된 스텝 사이즈와 체비셰프 스텝 간의 정성적·정량적 일치를 검증하는 것.

제안 방법

• 이론적 분석을 통해 DUGD에서 MSE를 최소화할 경우 반복 행렬의 스펙트럼 반경이 감소하며, 이는 그래디언트 디센트의 수렴 속도를 결정짓는다.
• 스펙트럼 반경에 대한 상한을 최소화함으로써 체비셰프 다항식 기반의 스텝 시퀀스인 체비셰프 스텝을 유도하는 방법을 제시한다.
• 체비셰프 스텝 시퀀스는 헤시안 행렬의 극단적 고유값 $\lambda_1$ 및 $\lambda_n$을 사용하여 정의되며, $\gamma_t = \frac{2}{\lambda_1 + \lambda_n} \cdot \frac{1}{T} \cdot T_t(\lambda_t)$로 표현되며, 여기서 $T_t$는 제1종 체비셰프 다항식이다.
• 초기 조건을 만족시키기 위해 체비셰프 스텝을 반복적으로 확장하고 순열을 적용함으로써 학습된 진동형 스텝 사이즈 패턴을 재현하는 증강 훈련 시뮬레이션 알고리즘을 제안한다.
• 최대 시간적 스펙트럼 반경을 최소화함으로써 수치 안정성을 향상시키기 위해 체비셰프 스텝의 순서를 최적화하는 순열 검색 알고리즘을 도입한다.
• 매개변수화된 순열 모델 $\pi(t+1) \equiv a\pi(t) + b \mod T$를 사용하며, 유효한 순열을 보장하기 위한 제약 조건을 설정하고, 최악의 경우 스펙트럼 반경을 최소화하는 최적의 $a$, $b$, $c$를 탐색한다.

실험 결과

연구 질문

• RQ1 딥 언폴드 그래디언트 디센트에서 학습된 스텝 사이즈가 수렴 속도를 가속화하는 비단조화적이고 진동형 패턴을 보이는 이유는 무엇인가?
• RQ2 학습된 스텝 사이즈 패턴이 수렴과 관련된 상한을 최소화함으로써 이론적으로 설명될 수 있는가?
• RQ3 유도된 체비셰프 스텝 시퀀스는 일阶 방법의 이론적 수렴 속도 하한을 달성하는가?
• RQ4 체비셰프 스텝의 순서는 수치 안정성과 수렴 성능에 어떤 영향을 미치는가?
• RQ5 딥 언폴드 그래디언트 디센트에서의 학습된 스텝 사이즈 행동이 체비셰프 기반 프레임워크를 통해 정성적·정량적으로 재현될 수 있는가?

주요 결과

• DUGD의 훈련 과정에서 평균 제곱 오차와 반복 행렬의 스펙트럼 반경이 동시에 감소하며, 이는 손실 최소화가 수렴 속도 향상과 직접 연결됨을 보여준다.
• 스펙트럼 반경에 대한 상한을 최소화하면 정확히 체비셰프 다항식 기반의 스텝 시퀀스와 일치하는 스텝 사이즈 시퀀스가 도출되며, 이는 학습된 매개변수의 이론적 근거를 제공한다.
• 수치 실험 결과, 체비셰프 스텝은 다양한 문제 설정에서 DUGD에서 학습된 스텝 사이즈의 정성적 진동형 형태를 잘 재현함을 확인하였다.
• 체비셰프 스텝 시퀀스는 모멘텀 없이도 큰 반복 수의 근처에서 일阶 방법의 이론적 수렴 속도 하한을 달성한다.
• 최적의 체비셰프 스텝 순서는 수치 안정성과 MSE 성능을 크게 향상시키며, 최적의 매개변수는 조건 수 $\kappa = \lambda_n / \lambda_1$에 따라 달라진다.
• T=16일 때, $\kappa=8.54$인 경우 최적의 순열 매개변수는 $(a,b,c) = (1,9,7)$로 도출되었으며, 이는 상승 또는 하강 순서보다 안정적이고 뛰어난 성능을 보였다.