[論文レビュー] Optimal Black-Box Reductions Between Optimization Objectives

Zeyuan Allen-Zhu, Elad Hazan|arXiv (Cornell University)|Mar 17, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用数 31

ひとこと要約

本稿では、既存手法に見られる非最適な対数因子とバイアスを排除する、凸最適化のための最適なブラックボックス還元手法を提案する。適応的スキーム（AdaptReg および AdaptSmooth）により正則化またはスムージングパラメータを動的に調整することで、滑らかでない、強い凸性を満たす、滑らかな設定のすべてにおいて、理論的最適性や実用性を損なわず、より速い収束とバイアスのない解を得られる。

ABSTRACT

The diverse world of machine learning applications has given rise to a plethora of algorithms and optimization methods, finely tuned to the specific regression or classification task at hand. We reduce the complexity of algorithm design for machine learning by reductions: we develop reductions that take a method developed for one setting and apply it to the entire spectrum of smoothness and strong-convexity in applications. Furthermore, unlike existing results, our new reductions are OPTIMAL and more PRACTICAL. We show how these new reductions give rise to new and faster running times on training linear classifiers for various families of loss functions, and conclude with experiments showing their successes also in practice.

研究の動機と目的

• 既存の還元手法が引き起こす非最適な log(1/ε) 要因と、凸最適化におけるバイアスのある収束という限界を是正すること。
• 滑らかさと強い凸性のすべての組み合わせにおいて、最適な収束レートを維持するブラックボックス還元を開発すること。
• SVM や Lasso、ロジスティック回帰などの多様な機械学習目的関数において、既存のアルゴリズムをパラメータ効率よく実用的に利用できるようにすること。
• 研究者が一つの設定に注力できるように、アルゴリズム設計を統一することにより、関連するすべての目的関数における最適性能を推論可能にする。

提案手法

• オракルアルゴリズムの収束行動を特徴付けるための新しい均一な目的関数減少（HOOD）性質を提案する。
• 適応的正則化還元である AdaptReg を導入し、バイアスと log(1/ε) 要因を排除するために正則化パラメータ σ を動的に調整する。
• 適応的スムージング還元である AdaptSmooth を導入し、滑らかでない目的関数に対して最適な収束を達成するためにスムージングパラメータ λ を調整する。
• 内側ループでの過剰反復を避けるために、勾配ノルムの減少に基づく実用的な終了基準を採用する。
• SVRG や APCG といった標準的なアルゴリズムに還元を適用し、理論的最適性と実用的効率性を保証する。
• 機械学習目的関数の有限和構造を活用して、スムージングまたは正則化されたバージョンの計算を効率的に行う。

実験結果

リサーチクエスチョン

• RQ1 滑らかさと強い凸性のすべてのレジームにおいて、ε に関する対数因子が非最適な状態にならない最適な収束レートを達成できるブラックボックス還元を設計できるか？
• RQ2 このような還元はバイアスなしであり、元の目的関数の真の最小値に収束する保証があるか？
• RQ3 最適性を維持しつつ、実用的なチューニングを簡素化できる適応的パラメータ選択はどのように達成できるか？
• RQ4 SVM や Lasso、ロジスティック回帰のような多様な機械学習目的関数に、アルゴリズムの再設計なしに広く適用可能か？
• RQ5 提案された適応的還元は、理論的および実践的両面で、古典的な固定パラメータ還元を上回る性能を示すか？

主な発見

• AdaptReg および AdaptSmooth は、古典的手法に見られる非最適な log(1/ε) 要因を排除することで、最適な収束レートを達成する。
• 提案された還元はバイアスがなく、元の目的関数の真の最小値に収束することを保証するが、古典的手法はバイアスのある解に収束する。
• AdaptReg および AdaptSmooth は、古典的手法と同等のパラメータチューニングの手間で、著しく速い収束を達成する。
• covtype、mnist、rcv1 などのデータセットにおける実験では、AdaptSmooth が特に低誤差閾値において、古典的手法のスムージング還元を上回ることを示した。
• AdaptReg は、古典的手法の正則化よりも速い収束を達成しながらも、バイアスのない解を維持し、パラメータ選択を簡素化する。
• 実世界の機械学習データセットにおける実験結果から、適応的スキームが実世界の設定でも実用的かつ効果的であることが実証された。