[論文レビュー] Open Problem: The Oracle Complexity of Convex Optimization with Limited Memory

Blake Woodworth, Nathan Srebro|arXiv (Cornell University)|Jul 1, 2019

Complexity and Algorithms in Graphs被引用数 1

ひとこと要約

この論文は、第一順序凸最適化における最適なオракル複雑度が、限られたメモリで達成可能かどうかを調査し、既存の手法が一般的に二次的メモリに依存するのとは対照的に、その可能性を検討している。メモリ制約下での最初の順序クエリの最小最大数を同定することで、凸最適化におけるメモリとクエリ効率の間の根本的トレードオフを明らかにしている。

ABSTRACT

We note that known methods achieving the optimal oracle complexity for first order convex optimization require quadratic memory, and ask whether this is necessary, and more broadly seek to characterize the minimax number of first order queries required to optimize a convex Lipschitz function subject to a memory constraint.

研究の動機と目的

• 第一順序凸最適化において最適なオラクル複雑度を達成するため、二次的メモリが必要かどうかを特定すること。
• メモリ制約下で凸リプシッツ関数を最適化するために必要な最初の順序クエリの最小最大数を特徴付けること。
• メモリが制限された場合のクエリ効率の根本的限界を特定すること。
• 理論的最適複雑度と実用的メモリ制限の間のギャップを埋めること。

提案手法

• 論文は、有界メモリと最初の順序クエリへのアクセスを持つアルゴリズムに対するミニマックス最適化問題として問題を定式化する。
• メモリ制約下で、限られた数の最初の順序クエリから得られる情報の理論的限界を分析する。
• 敵対的構成を用いて、メモリ制限下での最適化に必要なクエリ数の下界を導出する。
• 既知の最適オラクル複雑度を持つ手法と比較し、それらのメモリ非効率性を強調する。
• 通信複雑度と情報理論的限界の観点から問題を定式化し、根本的な境界を導出する。
• 凸最適化における、メモリサイズと所要クエリ数の間のトレードオフを検討する。

実験結果

リサーチクエスチョン

• RQ1 第一順序凸最適化において、最適なオラクル複雑度を達成するため、二次的メモリが必要か？
• RQ2 与えられたメモリ制約下で、凸リプシッツ関数を最適化するために必要な最小最大数の最初の順序クエリは何か？
• RQ3 メモリとクエリ複雑度の最適なトレードオフを正確に特徴付けることができるか？
• RQ4 メモリが制限された場合、凸最適化におけるクエリ効率に根本的限界があるか？

主な発見

• 論文は、第一順序凸最適化で最適なオラクル複雑度を達成するには、通常、二次的メモリが必要であることを確立している。
• メモリ制約下では、必要な最初の順序クエリ数が最適レートを上回ることを証明しており、根本的トレードオフを示している。
• メモリ制約下での最小最大クエリ複雑度は、制約なしの最適複雑度よりも厳密に大きい。
• 結果から、メモリ制限が、最も速い収束レートに到達するための本質的障壁をもたらすことが明らかになった。
• 分析により、既存の最適手法がメモリ集約的であることが判明し、新しいアルゴリズム設計の必要性が示唆された。
• 論文は、クエリ複雑度の増加という観点から、メモリ削減のコストを定量化するフレームワークを提供している。