[論文レビュー] Cyanure: An Open-Source Toolbox for Empirical Risk Minimization for Python, C++, and soon more

Julien Mairal|arXiv (Cornell University)|Dec 17, 2019

Stochastic Gradient Optimization Techniques参考文献 12被引用数 5

ひとこと要約

Cyanure は、Nesterov スタイルの加速を用いた分散低減 stochastic 最適化を活用する、オープンソースでメモリ効率の良い C++/Python ツールボックスであり、大規模な線形モデルの経験的リスク最小化を実行する。ill-conditioned および well-conditioned 問題の両方で、SAGA や Liblinear、L-BFGS といった標準的なソルバーよりも優れた性能を発揮し、特に QNing や Catalyst メカニズムによる加速が適用された場合に顕著である。

ABSTRACT

Cyanure is an open-source C++ software package with a Python interface. The goal of Cyanure is to provide state-of-the-art solvers for learning linear models, based on stochastic variance-reduced stochastic optimization with acceleration mechanisms. Cyanure can handle a large variety of loss functions (logistic, square, squared hinge, multinomial logistic) and regularization functions (l_2, l_1, elastic-net, fused Lasso, multi-task group Lasso). It provides a simple Python API, which is very close to that of scikit-learn, which should be extended to other languages such as R or Matlab in a near future.

研究の動機と目的

• 機械学習分野における大規模線形モデルのための高速でスケーラブルかつ再現性のあるソルバのニーズに対応すること。
• ill-conditioned 問題において性能が著しく低下する標準的な stochastic ソルバーの限界を克服すること。
• データの重複を回避し、スパース行列をサポートする、メモリ効率の良い BLAS 依存の実装を提供すること。
• 再現性と収束モニタリングのための双対ギャップ保証を備えた最適化を可能にすること。
• 既存の ML ワークフローへの統合を容易にする、scikit-learn 互換の API を提供すること。

提案手法

• 勾配の分散を低減する stochastic 最適化（例：SVRG、MISO）を採用し、収束を加速する。
• Nesterov スタイルの準ニュートン加速（QNing）と Catalyst 加速を統合し、ill-conditioned 問題における性能を向上させる。
• 双対に基づく双対ギャップメカニズムを用いて収束保証と終了基準を提供する。
• ロジスティック、二乗、二乗ハードマージン、セーフロジスティックなどの広範な損失関数と、ℓ1、ℓ2、Elastic-net、融合Lasso、グループLassoなどの正則化タイプをサポートする。
• scikit-learn 互換の Python インターフェースと、高性能実行を目的とした C++ バックエンドを提供する。
• BLAS と NumPy のみに依存しており、システム間でのパフォーマンスと移植性を確保する。

実験結果

リサーチクエスチョン

• RQ1 分散低減 stochastic 最適化に加速を組み合わせることで、ill-conditioned な経験的リスク最小化問題において、標準的なソルバーよりも優れた性能を発揮できるか？
• RQ2 QNing と Catalyst 加速の統合は、標準的な SVRG や SAGA と比較して、収束速度と解の品質をどの程度向上させるか？
• RQ3 メモリ効率とスパース行列サポートが、大規模データセットにおけるパフォーマンスに及ぼす影響はどの程度か？
• RQ4 双対ギャップモニタリングを備えた統合的かつ再現性のある最適化フレームワークは、モデル学習結果に対する信頼性をどのように向上させるか？
• RQ5 Cyanure のパフォーマンスは、正則化やデータスパarsity が異なる多様な実世界データセットにおいて、既存のソルバ（例：Liblinear、L-BFGS、SAGA）と比較してどの程度か？

主な発見

• Cyanure の QNing-MISO および Catalyst-MISO ソルバは、covtype、epsilon、webspam などの ill-conditioned データセットにおいて、標準的な SVRG、SAGA、Liblinear、L-BFGS と比較して、収束速度が数個のオーダーも向上し、顕著な性能向上を示した。
• rcv1 や criteo などの well-conditioned データセットでは、加速が理論的にあまり恩恵をもたらさないため、加速ありとなしのソルバ間の性能差は縮まり、理論的期待と一致した。
• QNing-MISO および Catalyst-MISO のバリエーションは、すべてのデータセットで一貫して上位にランクされ、問題タイプにかかわらず高いロバストネスを示した。
• Cyanure のデフォルトソルバ（おそらく Lin et al., 2019 に基づく）は、特に ckn_svhn や kddb のような大規模かつスパースなデータセットにおいて、最先端のパフォーマンスを達成した。
• 双対ギャップメカニズムにより、実用的な再現性と収束制御のための信頼できる収束モニタリングが可能になった。
• Liblinear-dual は大規模スパースデータセットにおいても競争力があるが、Cyanure の加速ソルバは ill-conditioned 問題においてそれを上回った。