[論文レビュー] Towards Unified Acceleration of High-Order Algorithms under Hölder Continuity and Uniform Convexity.

Chaobing Song, Yi Ma|arXiv (Cornell University)|Jun 3, 2019

Sparse and Compressive Sensing Techniques参考文献 42被引用数 9

ひとこと要約

本稿は、ホルダー連続な微分可能性と一様凸性の下で高次の凸最適化を統一的に加速するフレームワーク（UAF）を導入する。このUAFは、バニラ型プロキシマル法を用いて、2つの主要な高次加速手法を統合する。UAFは、既知の下界に一致する最適な反復複雑性を達成し、非ユークリッドノルムへも高次手法を拡張可能であり、実装を簡素化する実用的ヒューリスティクスを備えており、一次手法よりも優れた実行時間性能を示している。

ABSTRACT

In this paper, through a very intuitive vanilla proximal method perspective, we derive accelerated high-order optimization algorithms for minimizing a convex function that has Holder continuous derivatives. In this general convex setting, we propose a concise unified acceleration framework (UAF), which reconciles the two different high-order acceleration approaches, one by Nesterov and Baes [29, 3, 33] and one by Monteiro and Svaiter [25]. As result, the UAF unifies the high-order acceleration instances [29, 3, 33, 15, 16, 25, 19, 6, 14] of the two approaches by only two problem-related parameters and two additional parameters for framework design. Furthermore, the UAF (and its analysis) is the first approach to make high-order methods applicable for high-order smoothness conditions with respect to non-Euclidean norms. If the function is further uniformly convex, we propose a general restart scheme for the UAF. The iteration complexities of instances of both the UAF and the restarted UAF match existing lower bounds in most important cases [2, 16]. For practical implementation, we introduce a new and effective heuristic that significantly simplifies the binary search procedure required by the framework. We use experiments to verify the effectiveness of the heuristic and demonstrate clear and consistent advantages of high-order acceleration methods over first-order ones, in terms of run-time complexity. Finally, the UAF is proposed directly in the general composite convex setting, thus show that the existing high-order algorithms [29, 3, 33, 16, 6, 14] can be naturally extended to the general composite convex setting.

研究の動機と目的

• ホルダー連続な微分を持つ一般の凸関数に対して適用可能な、既存の高次加速手法を統一するフレームワークを構築すること。
• 高次手法をユークリッドノルムを超えて非ユークリッド設定へ拡張し、適用範囲を広げること。
• 一様凸関数に対して最適な収束レートを維持するリスタート戦略を開発すること。
• 二分探索手順に有効なヒューリスティクスを導入することで、高次手法の実装を簡素化すること。
• 実験を通じて、高次手法が一次手法に比べて実行時間複雑性において優れていることを示すこと。

提案手法

• UAFは、バニラ型プロキシマル法の視点から導出され、2つの問題固有パラメータと2つのフレームワーク固有パラメータを用いて、既存の高次加速スキームを統一する。
• このフレームワークは、ネステロフとバエス [29, 3, 33] および モンテイロとスヴァイター [25] の手法を統合し、一貫した構造を形成する。
• 一様凸関数に対して一般のリスタートスキームを提案し、最適な反復複雑性を保持する。
• UAFは直接的に複合凸設定で定式化されており、これにより従来の高次アルゴリズムがより広いクラスに拡張可能である。
• 高次手法で通常必要とされる二分探索手順を簡素化するための新規ヒューリスティクスを導入し、実用的効率性を向上させる。
• 理論的分析により、UAFおよびそのリスタート変種が、ほとんどの重要なケースで既知の下界に一致する反復複雑性を達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 ホルダー連続な微分の下で、2つの主要な高次加速手法を統一する1つのフレームワークが構築可能か？
• RQ2 高次手法を最適な収束を維持したまま、非ユークリッドノルムへ拡張可能か？
• RQ3 統一フレームワーク内での一様凸関数に対する最適なリスタート戦略は何か？
• RQ4 実用的ヒューリスティクスにより、収束保証を損なわずに高次手法の実装が著しく簡素化可能か？
• RQ5 実際の実行時間複雑性において、高次手法が一次手法をどの程度上回るか？

主な発見

• UAFは、ほとんどの重要なケースで既存の下界に一致する最適な反復複雑性を達成しており、理論的最適性を確認している。
• このフレームワークは、[29, 3, 33, 16, 6, 14, 25, 15, 19] からの多様な高次加速インスタンスを、問題パラメータ2つとフレームワークパラメータ2つのみで統一的に統合している。
• UAFの下で、高次手法が初めて非ユークリッドノルムへ拡張されたことで、ユークリッド設定を超えた適用範囲が広がった。
• 一様凸関数に対する提案されたリスタートスキームは、最適な収束レートを維持しており、UAFにスムーズに統合されている。
• 新規ヒューリスティクスは、二分探索プロセスを著しく簡素化し、より効率的で実用的な実装を可能にした。
• 実験結果により、実行時間複雑性の観点で、高次手法が一次手法を一貫してかつ明確に上回ることが確認された。