[論文レビュー] A Caputo fractional derivative-based algorithm for optimization

Yeonjong Shin, Jérôme Darbon+1 more|arXiv (Cornell University)|Apr 6, 2021

Fractional Differential Equations Solutions参考文献 25被引用数 6

ひとこと要約

本稿では、悪条件問題に対して特に有効な最適化を向上させるために、Caputo微分を活用する新規のCaputo分数階勾配降下法（CFGD）を提案する。局所的に滑らか化された目的関数における勾配降下方向に対応する分数階勾配を定義することで、適応的終端CFGDバージョンは収束を著しく加速する—とくに台形積分点が少ない場合に顕著で、標準的勾配降下法を上回る性能を示す。

ABSTRACT

We propose a novel Caputo fractional derivative-based optimization algorithm. Upon defining the Caputo fractional gradient with respect to the Cartesian coordinate, we present a generic Caputo fractional gradient descent (CFGD) method. We prove that the CFGD yields the steepest descent direction of a locally smoothed objective function. The generic CFGD requires three parameters to be specified, and a choice of the parameters yields a version of CFGD. We propose three versions -- non-adaptive, adaptive terminal and adaptive order. By focusing on quadratic objective functions, we provide a convergence analysis. We prove that the non-adaptive CFGD converges to a Tikhonov regularized solution. For the two adaptive versions, we derive error bounds, which show convergence to integer-order stationary point under some conditions. We derive an explicit formula of CFGD for quadratic functions. We computationally found that the adaptive terminal (AT) CFGD mitigates the dependence on the condition number in the rate of convergence and results in significant acceleration over gradient descent (GD). For non-quadratic functions, we develop an efficient implementation of CFGD using the Gauss-Jacobi quadrature, whose computational cost is approximately proportional to the number of the quadrature points and the cost of GD. Our numerical examples show that AT-CFGD results in acceleration over GD, even when a small number of the Gauss-Jacobi quadrature points (including a single point) is used.

研究の動機と目的

• 分数階勾配降下（FGD）法における理論的理解の不足、特に降下方向と収束挙動に関する理解を補完すること。
• 整数階の停留点への収束を、緩い条件下で保証するCaputo分数階微分に基づく最適化アルゴリズムを開発すること。
• 悪条件問題における収束速度が条件数に依存するのを軽減すること。
• 非二次関数に対しても効率的かつスケーラブルな実装を、Gauss-Jacobi台形積分を用いて行うこと。
• 特に二次的関数の文脈において、異なるCFGDバージョンに対する理論的収束保証と誤差境界を確立すること。

提案手法

• Cartesian座標に関するCaputo分数階微分に基づき定義される一般的なCaputo分数階勾配降下法（CFGD）アルゴリズムを提案する。3つのパラメータ（順序、終端点、初期点）を必要とする。
• Caputo分数階勾配を、目的関数の局所的滑らか化版における勾配降下方向として定義し、降下行動を保証する。
• 非適応型（固定パラメータ）、適応的終端（終端点を調整）、適応的順序（分数階順序を調整）の3つのバリエーションを導入。その中で適応的終端バージョンが優れた性能を示す。
• 二次的関数の場合のCaputo分数階勾配に対する明示的な閉形式表現を導出し、理論的分析を可能にする。
• 非二次関数に対しては、Gauss-Jacobi台形積分を用いてCFGDを効率的に実装し、計算コストは台形積分点の数と標準的勾配降下のコストに比例する。
• 再帰的誤差境界フレームワークを用いて収束を分析し、適応的バージョンが有界性と滑らかさの条件下で整数階の停留点に収束することを示した。

実験結果

リサーチクエスチョン

• RQ1 Caputo分数階勾配降下法（CFGD）が従う降下方向は何か？ そして、元の目的関数とどのように関係しているか？
• RQ2 分数階微分パラメータ（順序、終端点、初期点）の選択が最適化における収束と性能にどのように影響するか？
• RQ3 適応的終端CFGDバージョンは、条件数への依存を軽減し、標準的勾配降下法と比較して収束を加速できるか？
• RQ4 二次的関数の場合にCFGDに対して理論的収束保証をどのように確立できるか？
• RQ5 非二次関数に対してCFGDを、最小限の計算コストで効率的に実装する方法は何か？

主な発見

• 一般的なCFGD方向は、目的関数の局所的滑らか化版における勾配降下方向に対応し、明確な幾何的解釈が可能である。
• 非適応型CFGDは、Tikhonov正則化解に線形収束するが、これは整数階勾配の停留点ではないため、解にバイアスが生じることを示している。
• 適応的終端（AT）CFGDは、収束速度における条件数への依存を軽減し、標準的勾配降下法と比較して顕著な加速を達成する。
• 二次関数の場合、Caputo分数階勾配の明示的公式により、正確な理論的分析が可能となり、AT-CFGDバージョンの収束加速が確認された。
• 非二次問題においても、Gauss-Jacobi台形積分点が1点のみであっても、AT-CFGD実装は標準的勾配降下法を上回る加速を達成する。
• 適応的バージョンの誤差境界は、ヘッセ行列の有界性や目的関数の滑らかさといった緩い仮定のもとで、整数階の停留点への収束を示している。