[論文レビュー] Tensor Methods for Minimizing Functions with H\"{o}lder Continuous Higher-Order Derivatives

Geovani Nunes Grapiglia, Yurii Nesterov|arXiv (Cornell University)|Apr 29, 2019

Mathematical Approximation and Integration参考文献 14被引用数 14

ひとこと要約

本稿では、$p$回微分可能で、$u$-H"{o}lder連続な$p$階導関数を備えた凸関数を最小化するための加速および非加速テンソル法を提案する。$u$が既知の場合、非加速スキームの反復複雑度は$\mathcal{O}(\epsilon^{-1/(p+u-1)})$、加速スキームは$\mathcal{O}(\epsilon^{-1/(p+u)})$であることを確立した。$u$が未知の場合、$\mathcal{O}(\epsilon^{-p/[(p+1)(p+u-1)]})$の複雑度を達成するユニバーサルスキームを提案し、一致する下界を示した。

ABSTRACT

In this paper we study $p$-order methods for unconstrained minimization of convex functions that are $p$-times differentiable with $ u$-Holder continuous $p$th derivatives. We propose tensor schemes with and without acceleration. For the schemes without acceleration, we establish iteration complexity bounds of $\mathcal{O}\left(\epsilon^{-1/(p+ u-1)} ight)$ for reducing the functional residual below a given $\epsilon\in (0,1)$. Assuming that $ u$ is know, we obtain an improved complexity bound of $\mathcal{O}\left(\epsilon^{-1/(p+ u)} ight)$ for the corresponding accelerated scheme. For the case in which $ u$ is unknown, we present a universal accelerated tensor scheme with iteration complexity of $\mathcal{O}\left(\epsilon^{-p/[(p+1)(p+ u-1)]} ight)$. A lower complexity bound of $\mathcal{O}\left(\epsilon^{-2/[3(p+ u)-2]} ight)$ is also obtained for this problem class.

研究の動機と目的

• $p$回微分可能で、$u$-H"{o}lder連続な$p$階導関数を有する凸関数に対する効率的なテンソルベースの最適化法の開発。
• H"{o}lderパラメータ$u$に関する仮定の違いを考慮した、非加速および加速テンソルスキームの反復複雑度の境界の確立。
• $u$が事前に分かっていない状況でも収束速度を損なわずに適応可能なユニバーサル加速テンソルスキームの設計。
• 提案スキームの最適性を裏付けるために、理論的下界としての一致する反復複雑度の導出。

提案手法

• $p$階導関数のH"{o}lder連続性を活用した$p$次テイラー展開に基づく$p$次テンソル法の提案。
• 関数残差を$\epsilon$未満に抑えるためのラインサーチ戦略を用いた非加速テンソルスキームの導入。
• $u$が既知であると仮定し、モーメンタムに類似した更新を組み込むことで収束を向上させる加速テンソルスキームの開発。
• $u$の事前知識が不要な状況を想定し、ステップサイズを適応的に調整するユニバーサル加速テンソルスキームの設計。
• $u$のH"{o}lderパラメータに基づく複雑度解析により、反復回数の上界および下界を導出。
• $u$に関する仮定の違いを考慮した非加速、加速、ユニバーサルスキームの統一的枠組みを用いた比較。

実験結果

リサーチクエスチョン

• RQ1 $p$回微分可能で、$u$-H"{o}lder連続な$p$階導関数を有する凸関数を最小化する$p$次法において、最適な反復複雑度は何か？
• RQ2 H"{o}lderパラメータ$u$が既知である場合、加速は収束をどのように改善するか？
• RQ3 事前に$u$を知らない状況でも収束速度を損なわずに適応可能なユニバーサル加速テンソルスキームを設計可能か？
• RQ4 このクラスの問題における理論的下界としての反復複雑度は何か？
• RQ5 既存の$p$次法と比較して、提案スキームの収束速度はどのように異なるか？

主な発見

• 非加速テンソルスキームは、関数残差を$\epsilon$未満に抑えるために$\mathcal{O}(\epsilon^{-1/(p+u-1)})$の反復複雑度を達成する。
• $u$が既知の場合、加速テンソルスキームは複雑度を$\mathcal{O}(\epsilon^{-1/(p+u)})$に向上させる。
• $u$が未知の場合、ユニバーサル加速スキームは$\mathcal{O}(\epsilon^{-p/[(p+1)(p+u-1)]})$の複雑度を達成する。
• 一致する下界$\mathcal{O}(\epsilon^{-2/[3(p+u)-2]})$が確立され、提案スキームの最適性が示された。
• 結果から、高階の滑らかさ（$u$-H"{o}lder連続性）がテンソル法における収束速度を顕著に向上させることを示した。
• ユニバーサルスキームは$u$の事前知識がなくても近似的に最適な性能を達成でき、実用的応用において頑健であることが示された。