[論文レビュー] Optimization algorithms inspired by the geometry of dissipative systems

Alessandro Bravetti, Maria L. Daza–Torres+2 more|arXiv (Cornell University)|Dec 6, 2019

Model Reduction and Neural Networks参考文献 24被引用数 5

ひとこと要約

本稿では、接触幾何学的力学系から導かれた最適化アルゴリズムを紹介する。これらのアルゴリズムは、最適化におけるエネルギー散逸を自然にモデル化する。構造を保存する接触積分法を用いることで、オракルの下界に一致する加速された収束速度を達成するとともに、従来の幾何的アプローチよりも数値的安定性が向上する。

ABSTRACT

Accelerated gradient methods are a powerful optimization tool in machine learning and statistics but their development has traditionally been driven by heuristic motivations. Recent research, however, has demonstrated that these methods can be derived as discretizations of dynamical systems, which in turn has provided a basis for more systematic investigations, especially into the structure of those dynamical systems and their structure-preserving discretizations. In this work we introduce dynamical systems defined through a contact geometry which are not only naturally suited to the optimization goal but also subsume all previous methods based on geometric dynamical systems. These contact dynamical systems also admit a natural, robust discretization through geometric contact integrators. We illustrate these features in paradigmatic examples which show that we can indeed obtain optimization algorithms that achieve oracle lower bounds on convergence rates while also improving on previous proposals in terms of stability.

研究の動機と目的

• ヒューリスティックな導出を越えて、加速最適化手法の体系的幾何的フレームワークを構築すること。
• 現在の加速勾配法における不安定性と理論的根拠の欠如を解決すること。
• 過去の幾何的最適化アプローチを、より一般な力学系フレームワークの下に統一すること。
• 連続系の物理的・幾何的性質を保持する、強固な構造保存型離散化を設計すること。
• 最適化における理論的オラクル下界に一致する収束速度を達成すること。

提案手法

• 最適化を接触幾何学に従う連続力学系として定式化し、エネルギー散逸を本質的にモデル化する。
• すべての先行する幾何的最適化モデルを一般化・包含する接触力学系のクラスを導入する。
• 連続系の幾何的構造を保存する接触積分法を用いて、系を離散化する。
• これらの積分法が、数値的摂動に対しても強固で安定していることが示される。
• 代表的な最適化問題にこの手法を適用し、収束性能を実証する。
• 理論的分析により、得られたアルゴリズムが最適な収束速度を達成することが確認される。

実験結果

リサーチクエスチョン

• RQ1 一貫した幾何的フレームワークを構築し、加速最適化アルゴリズムを体系的に導出可能か？
• RQ2 力学系の構造保存的性質を活用することで、アルゴリズムの安定性を向上させられるか？
• RQ3 接触幾何的系は、最適化において自然に最適な収束速度を支持するか？
• RQ4 幾何的接触積分法は、標準的な離散化スキームに比べて、より高いロバスト性を示せるか？
• RQ5 幾何的動機付けに基づくアプローチで、オラクル下界の収束速度に到達可能か？

主な発見

• 提案された接触力学系は、ハミルトニアン系や勾配系に基づくすべての先行する幾何的最適化モデルを一般化・包含する。
• 幾何的接触積分法は、連続系の物理的・幾何的性質を保持する、安定的かつ強固な離散化を提供する。
• 得られた最適化アルゴリズムは、理論的オラクル下界に一致する収束速度を達成する。
• 数値的安定性と収束のロバスト性の面で、従来の幾何的アプローチを改善する。
• 代表的例における実験的検証により、理論的主張が確認され、優れた性能が示された。
• 本フレームワークは、加速最適化アルゴリズムを設計するための原理的で幾何的な基盤を提供する。