[論文レビュー] Design of generalized fractional order gradient descent method

Yiheng Wei, Yü Kang+2 more|arXiv (Cornell University)|Dec 24, 2018

Fractional Differential Equations Solutions参考文献 36被引用数 15

ひとこと要約

本稿では、分数階勾配降下法における収束問題を解決するための3つの新規手法——固定メモリステップ、高次級数切り捨て、可変分数階数——を提案する。これらは、本来は真の最小値に収束すべきところが、分数階極値点に収束してしまう問題を解消する。これらの手法により、実際の最適解への高速かつ安定な収束が保証され、最適化およびLMS問題における広範なシミュレーションで検証された。

ABSTRACT

This paper focuses on the convergence problem of the emerging fractional order gradient descent method, and proposes three solutions to overcome the problem. In fact, the general fractional gradient method cannot converge to the real extreme point of the target function, which critically hampers the application of this method. Because of the long memory characteristics of fractional derivative, fixed memory principle is a prior choice. Apart from the truncation of memory length, two new methods are developed to reach the convergence. The one is the truncation of the infinite series, and the other is the modification of the constant fractional order. Finally, six illustrative examples are performed to illustrate the effectiveness and practicability of proposed methods.

研究の動機と目的

• 分数階勾配法が目的関数の真の最小値ではなく分数階極値点に収束するという根本的問題に取り組む。
• 非収束の原因、特に分数微分の非局所性と長記憶特性の役割を解明する。
• リアルタイムオンライン計算における分数勾配の実装可能性を高める実用的で実装可能な解決策を開発する。
• 収束速度と安定性を維持しつつ、実際の最適解への収束を保証する。
• 理論的・実用的枠組みを提供し、理論的興味を超えて最適化アルゴリズムへの分数階微積分の応用を可能にする。

提案手法

• 分数微分の無限記憶を制限するため、短記憶原理を応用した固定メモリステップ法を導入する。
• 分数微分の無限級数展開における高次項を切り捨てることで近似する高次級数切り捨て法を提案する。
• 反復処理中に階数を自己調整することで収束特性を向上させる可変分数階数戦略を設計する。
• 数値的安定性を高めるために、分数微分のCaputo定義を用いた勾配降下フレームワークにこれらの手法を統合する。
• 連続的および離散的設定の両方で実装し、LMSアルゴリズムや非線形最適化への応用を含む。
• 学習率、メモリ長、階数調整などのパrameterチューニングを用いて、収束速度とチタリング低減のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 なぜ分数階勾配法は関数の真の最小値に収束しないのか？
• RQ2 分数微分の非局所的性質が、実際に最小値ではなく分数階極値点に収束する原因となるのはなぜか？
• RQ3 分数微分の長記憶特性を効果的に切り捨てたり変更したりすることで、真の最小値への収束を回復できるか？
• RQ4 リアルタイム応用における分数勾配降下法を実装する実用的で計算可能な手法は何か？
• RQ5 可変分数階数法と級数切り捨て法は、固定階数法と比較して性能と安定性においてどのように異なるか？

主な発見

• 分数微分の非局所的性質が原因で、分数階勾配法は真の最小値ではなく分数階極値点に収束する。
• 固定メモリステップ法は、履歴的影響を有限ウィンドウに制限することで、真の最小値への収束を回復した。
• 高次級数切り捨て法は、メモリ切り捨ての代替手段として効果的であり、計算負荷を低減しつつ高速収束を達成する。
• 可変分数階数法は、反復中に微分階数を動的に調整することで収束速度を向上させ、チタリングを低減し、固定階数法を上回る性能を示した。
• 3つの提案手法は、非線形および非凸関数を含む6つの数値例すべてにおいて、真の最適解への高速収束を達成した。
• LMSアルゴリズムの例では、3つの手法とも、高速かつ高精度にフィルタ係数を推定し、実用的応用性を示した。