[論文レビュー] MISO is Making a Comeback With Better Proofs and Rates

Xun Qian, Alibek Sailanbayev+2 more|arXiv (Cornell University)|Jun 4, 2019

Stochastic Gradient Optimization Techniques参考文献 28被引用数 6

ひとこと要約

この論文は、滑らかさ定数のみを必要とし、追加パラメータを一切不要とする新しいバリエーションを導入することで、MISOアルゴリズムを再活性化する。強凸性の仮定なしに収束保証が可能となり、凸および非凸問題において線形収束を達成。ミニバッチMISOの最初の線形スケーリングを実現し、実データセットにおいてSAGAやSVRGを上回る性能を発揮。理論的分析の向上と実用的効率性の両面で優れた成果を上げている。

ABSTRACT

MISO, also known as Finito, was one of the first stochastic variance reduced methods discovered, yet its popularity is fairly low. Its initial analysis was significantly limited by the so-called Big Data assumption. Although the assumption was lifted in subsequent work using negative momentum, this introduced a new parameter and required knowledge of strong convexity and smoothness constants, which is rarely possible in practice. We rehabilitate the method by introducing a new variant that needs only smoothness constant and does not have any extra parameters. Furthermore, when removing the strong convexity constant from the stepsize, we present a new analysis of the method, which no longer uses the assumption that every component is strongly convex. This allows us to also obtain so far unknown nonconvex convergence of MISO. To make the proposed method efficient in practice, we derive minibatching bounds with arbitrary uniform sampling that lead to linear speedup when the expected minibatch size is in a certain range. Our numerical experiments show that MISO is a serious competitor to SAGA and SVRG and sometimes outperforms them on real datasets.

研究の動機と目的

• MISOの限られた人気と理論的制約を解消するため、画期的な確率的バリアンス低減法であるMISOの限界を克服すること。
• MISOのステップサイズにおいて強凸性定数と追加パラメータの必要性を排除し、実用性を向上させること。
• 分析において強凸性仮定を外すことで、非凸問題への収束を確立すること。
• 任意の均等サンプリングを用いる最初のミニバッチMISOバージョンを開発し、保証された線形スケーリングを達成すること。

提案手法

• 強凸性定数の代わりに滑らかさ定数Lのみを用いる新しいMISOバージョンを提案。追加パラメータは一切不要。
• ビッグデータ仮定を回避し、各成分がすべて強凸である必要がない新しい収束解析を導入。
• 任意の均等サンプリング下でのミニバッチ化の境界を導出。期待されるミニバッチサイズが特定の範囲内にある場合に線形スケーリングを達成。
• 安定性と収束を保証するように巧みに設計された補助関数と更新則を用いた、マジョライゼーション・ミニマイゼーション（MM）フレームワークを採用。
• n/Lオーダーのパラメータフリーなステップサイズを採用。ロバストネスと実用的利便性が向上。
• 統一された解析フレームワークを用いて、凸、強凸、非凸設定の収束レートを確立。

実験結果

リサーチクエスチョン

• RQ1 強凸性定数に依存しない、より単純でパラメータフリーなMISOのバリエーションによって、MISOは再び活性化可能か？
• RQ2 任意の均等サンプリングを用いるミニバッチMISOバージョンは、理論的・実用的に線形スケーリングを達成できるか？
• RQ3 MISOの収束解析を、成分毎の強凸性仮定なしに非凸問題へ拡張可能か？
• RQ4 提案されたMISOバージョンにおいて、線形スケーリングを保証する最適なミニバッチサイズの範囲は何か？
• RQ5 実世界のデータセットにおいて、新しいMISOバージョンはSAGAやSVRGに比べて実用的に優れているか？

主な発見

• 提案されたMISOバージョンは、強凸性パラメータの知識がなくても、凸および非凸問題において線形収束を達成。
• ステップサイズがn/Lオーダーであり、追加パラメータの必要性がなく、実用的利便性が向上。
• 新しい理論的解析により、ビッグデータ仮定が不要であり、各成分がすべて強凸である必要がない。
• 任意の均等サンプリングを用いる最初のミニバッチMISOバージョンを実現。期待されるミニバッチサイズが特定の範囲内にある場合に線形スケーリングを達成。
• 数値実験の結果、MISOは実データセットにおいてSAGAやSVRGを上回るか、同等の性能を発揮。実用的競争力が明確に示された。
• 従来のMISOバージョンと同等またはそれ以上の収束レートを達成。特に非凸領域において顕著な改善を示した。