[論文レビュー] Theoretical Interpretation of Learned Step Size in Deep-Unfolded Gradient Descent

Satoshi Takabe, Tadashi Wadayama|arXiv (Cornell University)|Jan 15, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用数 9

ひとこと要約

本稿は、深層アンフォールド勾配降下法（DUGD）における学習されたステップサイズの理論的解釈を提供し、訓練中に学習される直感的でないジグザグなステップサイズの系列が、反復行列の固有値半径の上界を最小化することによって導かれるチェビシェフステップとして自然に出現することを示している。チェビシェフステップは、モーメンタムなしの1次順の最適化手法における理論的下限に達し、DUGDにおける観察された加速を説明する。

ABSTRACT

Deep unfolding is a promising deep-learning technique in which an iterative algorithm is unrolled to a deep network architecture with trainable parameters. In the case of gradient descent algorithms, as a result of the training process, one often observes the acceleration of the convergence speed with learned non-constant step size parameters whose behavior is not intuitive nor interpretable from conventional theory. In this paper, we provide a theoretical interpretation of the learned step size of deep-unfolded gradient descent (DUGD). We first prove that the training process of DUGD reduces not only the mean squared error loss but also the spectral radius related to the convergence rate. Next, we show that minimizing the upper bound of the spectral radius naturally leads to the Chebyshev step which is a sequence of the step size based on Chebyshev polynomials. The numerical experiments confirm that the Chebyshev steps qualitatively reproduce the learned step size parameters in DUGD, which provides a plausible interpretation of the learned parameters. Additionally, we show that the Chebyshev steps achieve the lower bound of the convergence rate for the first-order method in a specific limit without learning parameters or momentum terms.

研究の動機と目的

• 深層アンフォールド勾配降下法（DUGD）における直感的でない学習済みステップサイズのパターンを解明すること。これは収束を加速するが、古典的最適化理論からは直感的に説明がつかない。
• DUGDにおける平均二乗誤差（MSE）損失を最小化することは、収束速度の主要要因である固有値半径を暗黙的に低減することを示すこと。
• 固有値半径の上界を最小化することで、理論的基盤を確立し、チェビシェフに基づくステップサイズ系列を導出すること。
• チェビシェフステップが、モーメンタムやハイパーパrameterチューニングなしで、1次順の最適化手法における理論的下限の収束速度に達することを示すこと。
• 数値実験を通じて、学習済みステップサイズとチェビシェフステップとの間の定性的および定量的整合性を検証すること。

提案手法

• 理論的分析により、DUGDにおけるMSEの最小化が反復行列の固有値半径を低減することを示し、これは勾配降下法の収束速度を支配する。
• 固有値半径の上界を最小化することで、チェビシェフ多項式に基づくステップサイズ系列（いわゆるチェビシェフステップ）を導出する。
• チェビシェフステップ系列は、ヘッセ行列の極値固有値 $\lambda_1$ と $\lambda_n$ を用いて定義され、$\gamma_t = \frac{2}{\lambda_1 + \lambda_n} \cdot \frac{1}{T} \cdot T_t(\lambda_t)$ で与えられる。ここで $T_t$ は第一種チェビシェフ多項式である。
• 初期条件に一致させるために、チェビシェフステップを段階的に延長・並べ替えすることで、学習済みジグザグなステップサイズパターンを再現するための逐次的トレーニングエミュレーションアルゴリズムを提案する。
• 最大時間的固有値半径を最小化するように、チェビシェフステップの順序を最適化するための並べ替え探索アルゴリズムを導入する。これにより数値的安定性が向上する。
• パラメトリックな並べ替えモデル $\pi(t+1) \equiv a\pi(t) + b \mod T$ を用い、有効な並べ替えを保証する制約を設け、最悪ケースの固有値半径を最小化するように $a$, $b$, $c$ を探索する。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層アンフォールド勾配降下法における学習済みステップサイズは、収束を加速する非単調でジグザグなパターンを示すのか？
• RQ2 収束関連の上界を最小化することで、学習済みステップサイズパターンを理論的に説明できるか？
• RQ3 導出されたチェビシェフステップ系列は、1次順の最適化手法における理論的下限の収束速度に達するか？
• RQ4 チェビシェフステップの順序は、数値的安定性および収束性能にどのように影響するか？
• RQ5 DUGDにおける学習済みステップサイズ行動は、チェビシェフベースのフレームワークによって定性的および定量的に再現可能か？

主な発見

• DUGDのトレーニングは、平均二乗誤差と反復行列の固有値半径の両方を低減し、損失最小化と収束速度の向上を結びつける。
• 固有値半径の上界を最小化することで、正確にチェビシェフ多項式に基づくステップサイズ系列が得られ、学習済みパrameterの理論的基盤が得られる。
• 数値実験により、さまざまな問題設定において、チェビシェフステップがDUGDにおける学習済みステップサイズのジグザグな形状を定性的に再現することが確認された。
• チェビシェフステップ系列は、反復回数が非常に多くなる極限において、モーメンタムや適応的パrameterなしで、1次順の最適化手法における理論的下限の収束速度に達する。
• 最適なチェビシェフステップ系列の並べ替えは、数値的安定性とMSE性能を顕著に向上させ、最良のパラメータは条件数 $\kappa = \lambda_n / \lambda_1$ に依存する。
• T=16の場合、$\kappa=8.54$ のとき、最適な並べ替えパラメータは $(a,b,c) = (1,9,7)$ であった。性能は、上昇または下降順の順序よりも安定的かつ優れていた。