[論文レビュー] GENO -- GENeric Optimization for Classical Machine Learning

Sören Laue, Matthias Mitterreiter+1 more|arXiv (Cornell University)|May 31, 2019

Machine Learning and Algorithms参考文献 64被引用数 9

ひとこと要約

GENO は、記述的問題仕様から記号的自動微分を用いて効率的なソルバを自動生成する、古典的機械学習のための汎用最適化フレームワークである。準ニュートン法と増大ラグランジュ法を組み合わせ、SVM や非線形最小二乗、圧縮センシングを含む多様な問題において、特殊化されたおよび最先端のソルバーよりも桁違いに優れた性能を発揮する。

ABSTRACT

Although optimization is the longstanding algorithmic backbone of machine learning, new models still require the time-consuming implementation of new solvers. As a result, there are thousands of implementations of optimization algorithms for machine learning problems. A natural question is, if it is always necessary to implement a new solver, or if there is one algorithm that is sufficient for most models. Common belief suggests that such a one-algorithm-fits-all approach cannot work, because this algorithm cannot exploit model specific structure and thus cannot be efficient and robust on a wide variety of problems. Here, we challenge this common belief. We have designed and implemented the optimization framework GENO (GENeric Optimization) that combines a modeling language with a generic solver. GENO generates a solver from the declarative specification of an optimization problem class. The framework is flexible enough to encompass most of the classical machine learning problems. We show on a wide variety of classical but also some recently suggested problems that the automatically generated solvers are (1) as efficient as well-engineered specialized solvers, (2) more efficient by a decent margin than recent state-of-the-art solvers, and (3) orders of magnitude more efficient than classical modeling language plus solver approaches.

研究の動機と目的

• 古典的機械学習において、効率的な最適化には問題特有のアルゴリズム設計が必要であるという一般的な信念に挑戦すること。
• 制約付きおよび非凸問題を含む、幅広い古典的機械学習問題をサポートする、柔軟性と高い効率性を両立した最適化フレームワークを開発すること。
• 手で最適化されたソルバの効率性と、モデリング言語＋ソルバーフレームワークの柔軟性の間のギャップを埋めること。
• 自動生成されたソルバが、熟練して設計された特殊化されたソルバと同等またはそれ以上の性能を発揮できることを示すこと。

提案手法

• GENO は、個々の問題インスタンスではなく、問題クラス全体を指定する高水準で人間が読みやすいモデリング言語を使用する。
• 記号的自動微分を適用して、目的関数および制約関数の正確な勾配とヘッセ行列を生成する。
• 制約を効率的に処理するために、準ニュートン法と増大ラグランジュ法を組み合わせたフレームワークを採用する。
• 標準形への変換に起因する非効率性を回避するため、問題仕様から自動的にソルバを生成する。
• 問題の次元やスパarsityパターンを事前に固定しないことで、コードの肥大化を回避し、スケーラビリティを実現する。
• 滑らか化近似と信頼領域技術の組み合わせにより、非滑らかおよび非凸問題を扱える。

実験結果

リサーチクエスチョン

• RQ1 1つの汎用ソルバーフレームワークが、古典的機械学習における手で最適化された問題特有のソルバーよりも同等の性能を達成できるか？
• RQ2 性能を犠牲にすることなく、記述的問題仕様から自動的に効率的なソルバを生成することは可能か？
• RQ3 記号的自動微分と増大ラグランジュ法に基づく汎用ソルバは、現実の機械学習問題において最先端の特殊化されたソルバーよりも優れているか？
• RQ4 計算効率の観点から、従来のモデリング言語＋ソルバーパイプラインに比べて、このフレームワークはどの程度優れているか？

主な発見

• GENO が生成するソルバは、SVM やロジスティック回帰といった標準的な機械学習問題において、熟練して設計された特殊化されたソルバと同等の性能を発揮する。
• 非線形最小二乗問題において、GENO は最先端の特殊化されたソルバ S-AdaNCG および AdaNCD-SCSG よりも大きく性能を上回り、標準設定下でそれらが収束に失敗した問題に対しても収束を達成する。
• 圧縮センシングにおいて、GENO が生成するソルバは、最適な目的関数値および妥当性への収束速度において、最先端の IRLS アルゴリズムを複数桁の速度で上回る。
• GENO は、標準形への変換における表現上の非効率性に苦しむ従来のモデリング言語＋ソルバーパイプラインよりも、桁違いに効率的である。
• 非凸および非滑らか問題、例えば非線形最小二乗問題や ℓ1-最小化問題に対しても、安定した収束を達成でき、フレームワークの有効性を示している。