[論文レビュー] Solving strongly convex-concave composite saddle point problems with a small dimension of one of the variables

Egor Gladin, Ilya Kuruzov+4 more|arXiv (Cornell University)|Oct 5, 2020

Heat Transfer and Mathematical Modeling被引用数 4

ひとこと要約

本稿では、1つの変数群が小さい次元（約100未塔）である強凸-凹な合成サドルポイント問題を解くための新しいアルゴリズムを提案する。この手法は分解戦略を用いる：高次元の変数に対しては、不正確な勾配情報を利用した加速勾配法を適用し、低次元の変数に対しては楕円体法またはポリャクの法を用いる。主な貢献は、一般ケースにおける複雑度の上限が $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{xy}^2}{\mu_x\mu_y} + \frac{L_{yy}}{\mu_y}}\right)$ であり、非常に小さい次元（5未塔）の場合には、不正確な勾配を用いた新しい多次元二分法を用いることで $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{yy}}{\mu_y}}\right)$ にまで改善されることを示している。

ABSTRACT

The article is devoted to the development of algorithmic methods ensuring efficient complexity bounds for strongly convex-concave saddle point problems in the case when one of the groups of variables is high-dimensional, and the other is relatively low-dimensional (up to a hundred). The proposed technique is based on reducing problems of this type to a problem of minimizing a convex (maximizing a concave) functional in one of the variables, for which it is possible to find an approximate gradient at an arbitrary point with the required accuracy using an auxiliary optimization subproblem with another variable. In this case, the ellipsoid method is used for low-dimensional problems (if necessary, with an inexact $\\delta$-subgradient), and accelerated gradient methods are used for high-dimensional problems. For the case of a very small dimension of one of the groups of variables (up to 5), an approach based on a new version of the multidimensional analog of the Yu. E. Nesterov's method on the square (multidimensional dichotomy) is proposed with the possibility of using inexact values of the gradient of the objective functional.

研究の動機と目的

• 1つの変数群が小さい次元（約100未塔）である強凸-凹な合成サドルポイント問題を効率的に解くためのアルゴリズムを開発すること。
• 勾配情報が不正確であるか、部分問題を通じてのみ得られる場合に、最適または近似的に最適な収束速度を達成する挑戦に対処すること。
• 非常に小さい次元（5未塔）のケースに特化した手法を設計し、多次元二分法と不正確な勾配オラクルを活用すること。
• この問題クラスに対して既知の下界に一致または近い理論的複雑度の上限を提供すること。
• 高次元変数に対して不正確な部分問題解法を組み合わせた加速勾配法と、低次元変数に対して正確または効率的な解法を統合し、既存手法を統一・拡張すること。

提案手法

• 元のサドルポイント問題を、1つの変数を固定して他方の変数について解く部分問題の系列に分解し、1つの変数群の次元が小さいことに着目する。
• 高次元の変数に対しては、低次元の変数に関する部分問題を解くことで勾配を近似する、不正確な勾配情報を利用した加速勾配法を用いる。
• 低次元の変数に対しては、楕円体法またはポリャクの法を用いて部分問題を正確にまたは高精度に解く。
• 非常に小さい次元（≤5）の特殊ケースでは、不正確な勾配オラクルを用いた新しい多次元二分法を提案し、ハイパーキューブ上での効率的な最小化を可能にする。
• リプシッツ連続性と強凸性のパラメータを用いて、勾配近似誤差の境界を維持することで、反復的に探索空間を縮小し、収束を保証する。
• 理論的複雑度は、部分問題の解の必要十分な精度と、目標精度 $\varepsilon$ を達成するまでに必要な反復回数を分析することで導出される。

実験結果

リサーチクエスチョン

• RQ1 1つの変数群が小さい次元で、もう一方が大きな次元である強凸-凹なサドルポイント問題に対して、近似的に最適な複雑度を達成できるか。
• RQ2 低次元の変数に関する部分問題を用いて、高次元の変数の不正確な勾配情報を効率的に計算する方法は何か。
• RQ3 低次元の部分問題をどれだけ正確に解くかと、主アルゴリズム全体の収束速度との最適なトレードオフは何か。
• RQ4 新しい多次元二分法は、不正確な勾配オラクルを用いた非常に小さい次元のケース（≤5）において収束を改善できるか。
• RQ5 提案手法の理論的複雑度上限は、この問題クラスに対して既知の下界と比較してどうなっているか。

主な発見

• 提案アルゴリズムは、小次元変数群の一般ケースにおいて、複雑度上限 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{xy}^2}{\mu_x\mu_y} + \frac{L_{yy}}{\mu_y}}\right)$ を達成する。
• 次元 ≤5 の特殊ケースでは、不正確な勾配を用いた新しい多次元二分法を用いることで、複雑度上限 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{yy}}{\mu_y}}\right)$ を達成する。
• 高次元部分問題における勾配近似の必要精度が $\Delta \leq \frac{1}{4} \cdot \frac{L_f}{M_f + 2L_f R} \cdot \varepsilon$ で抑えられることを保証し、部分問題の反復回数に影響を与える。
• 部分問題の反復回数は $N = \left\lceil \log_2\left(\frac{4R(M_f + 2L_f R)}{L_f \varepsilon}\right) \right\rceil$ で上限が与えられ、これにより全体の収束が $\varepsilon$-精度に達することが保証される。
• 不正確な勾配情報と低次元問題の効率的解法を組み合わせることで、近似的に最適な複雑度を達成し、既知の下界に対して対数因子を除いて一致する。
• 理論的分析により、$\Delta$ に関する導出された境界に従って誤差を制御すれば、勾配計算の不正確性に対してもアルゴリズムがロバストであることが確認された。