[論文レビュー] Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss

Yair Carmon, Arun Jambulapati+2 more|arXiv (Cornell University)|Jul 7, 2021

Complexity and Algorithms in Graphs被引用数 2

ひとこと要約

本論文は、N 個の凸でリプシッツ連続関数の最大値を最小化するための、第一順序オラクル複雑度の改良された境界を提示する。ボール最適化オラクルの加速手法を精緻化し、ソフトマックス関数を用いて効率的に実装することで、非滑らかケースでは O(N𝜖⁻²/³ + 𝜖⁻⁸/³)、O(𝜖⁻¹)-滑らかケースでは O(N𝜖⁻²/³ + √N𝜖⁻¹) の複雑度を達成し、理論的下界との整合性を保った N 依存性を達成した。

ABSTRACT

We characterize the complexity of minimizing the maximum of 𝑁 convex, Lipschitz functions. For non-smooth functions, existing methods require O(𝑁𝜖⁻²) queries to a first-order oracle to compute an 𝜖-suboptimal point and O(𝑁𝜖⁻¹) queries if the functions are O(𝜖⁻¹)-smooth. We develop methods with improved complexity bounds O(𝑁𝜖⁻²/³ + 𝜖⁻⁸/³) in the non-smooth case and O(𝑁𝜖⁻²/³ + √𝑁𝜖⁻¹) in the O(𝜖⁻¹)-smooth case. Our methods consist of a recently proposed ball optimization oracle acceleration algorithm (which we refine), combined with careful implementation of said oracle for the softmax function. We also prove an oracle complexity lower bound scaling as 𝛺(𝑁𝜖⁻²/³), showing that our dependence on 𝑁 is optimal up to polylogarithmic factors.

研究の動機と目的

• N 個の凸でリプシッツ連続関数の最大値を最小化するための第一順序オラクル複雑度を低減すること。
• N および 𝜖 依存性において、既存手法と理論的下界のギャップを埋めること。
• ソフトマックス関数に対するボール最適化オラクルの効率的実装を開発すること。
• Ω(N𝜖⁻²/³) の下界を証明することで、タイトな複雑度境界を確立すること。
• 非滑らかおよび滑らか両ケースにおいて、ほぼ最適な性能を達成すること。

提案手法

• 著者らは、最近提案されたボール最適化オラクル加速アルゴリズムを精緻化し、クエリ効率を向上させた。
• ボールオラクルをソフトマックス関数を用いて実装することで、最大関数の最小化点を効率的に計算可能とした。
• この手法はソフトマックスの構造を活用し、必要な第一順序オラクルクエリの数を削減した。
• 主な技術的貢献の一つは、非滑らか関数に対して O(N𝜖⁻²/³ + 𝜖⁻⁸/³) の複雑度を導出したことである。
• O(𝜖⁻1)-滑らか関数に対しては、O(N𝜖⁻²/³ + √N𝜖⁻¹) の複雑度を達成し、以前の O(N𝜖⁻¹) の境界を改善した。
• 著者らは、Ω(N𝜖⁻²/³) の一致する下界を証明し、N 依存性が多項対数的要因を除いて最適であることを示した。

実験結果

リサーチクエスチョン

• RQ1 非滑らかケースにおいて、N 個の凸でリプシッツ連続関数の最大値を最小化する第一順序オラクル複雑度を、O(N𝜖⁻²) よりも改善できるか？
• RQ2 O(𝜖⁻¹)-滑らかな関数の最大値を最小化する場合、N および 𝜖 依存性の最適な関係は何か？
• RQ3 ソフトマックス関数に対してボール最適化オラクルを効率的に実装できるか？これにより収束速度が向上するか？
• RQ4 複雑度境界における N𝜖⁻²/³ 依存性はタイトか？一致する下界を確立できるか？
• RQ5 滑らか・非滑らか両ケースにおいて、クエリ複雑度の観点から、本手法は既存手法と比較して優れているか？

主な発見

• 本手法は、非滑らか関数に対して O(N𝜖⁻²/³ + 𝜖⁻⁸/³) の第一順序オラクルクエリを達成し、以前の O(N𝜖⁻²) の境界を改善した。
• O(𝜖⁻¹)-滑らかな関数に対しては、複雑度を O(N𝜖⁻²/³ + √N𝜖⁻¹) に低減し、以前の O(N𝜖⁻¹) の境界を改善した。
• N 依存性は、Ω(N𝜖⁻²/³) の下界により、多項対数的要因を除いて最適であることが確認された。
• ボール最適化オラクルはソフトマックス関数を用いて成功裏に実装され、最大関数の効率的最小化が可能になった。
• 複雑度境界は 𝜖 依存性においてタイトであり、𝜖 の指数が理論的下界と一致している。
• 結果から、ボールオラクルによる加速は、凸関数のミニマックス最適化においてクエリ複雑度を顕著に低減できることを示した。