[論文レビュー] A Fast, Principled Working Set Algorithm for Exploiting Piecewise Linear Structure in Convex Problems

Tyler B. Johnson, Carlos Guestrin|arXiv (Cornell University)|Jul 20, 2018

Machine Learning and Algorithms参考文献 62被引用数 3

ひとこと要約

この論文では、凸最適化問題における区分線形構造を活用して、反復ごとの進捗に関する理論的保証を持つ高速で原理的 working setアルゴリズム、BlitzWSを紹介する。このアルゴリズムは、部分問題を理論的に保証された進捗とともに解くことで、スパースなロジスティック回帰や線形SVMを含む複数の問題でLibLinearを上回る収束速度を達成する。また、先行手法よりも効果的に目的関数を単純化する、新しい安全スクリーニング手法BlitzScreenを導入している。

ABSTRACT

By reducing optimization to a sequence of smaller subproblems, working set algorithms achieve fast convergence times for many machine learning problems. Despite such performance, working set implementations often resort to heuristics to determine subproblem size, makeup, and stopping criteria. We propose BlitzWS, a working set algorithm with useful theoretical guarantees. Our theory relates subproblem size and stopping criteria to the amount of progress during each iteration. This result motivates strategies for optimizing algorithmic parameters and discarding irrelevant components as BlitzWS progresses toward a solution. BlitzWS applies to many convex problems, including training L1-regularized models and support vector machines. We showcase this versatility with empirical comparisons, which demonstrate BlitzWS is indeed a fast algorithm.

研究の動機と目的

• 反復ごとの進捗に関する理論的保証を持つworking setアルゴリズムを開発し、ヒューリスティックに基づく部分問題選択から脱却すること。
• ℓ₁正則化モデルやSVMにおけるような、凸問題の区分線形構造を、目的関数を区分的項の和として定式化することで活用すること。
• 解においてゼロであることが保証される成分を特定し、それらを除外する安全スクリーニング手法BlitzScreenを設計し、従来の手法よりも広い適用範囲とより大きな単純化効果を実現すること。
• スパースなロジスティック回帰を含む多様な機械学習問題において、BlitzWSの収束速度の優位性を実験的に検証すること。
• working set最適化における部分問題選択、パrameter適応、成分除外の統一的で原理的なフレームワークを提供すること。

提案手法

• BlitzWSは、目的関数内の区分的項を、線形部分関数に選択的に置き換えることで、部分問題の列に最適化を定式化し、より高速な最小化を可能にする。
• 部分問題のサイズと停止基準を、保証された進捗と関連付ける理論的枠組みを用い、根拠に基づいた部分問題構築を可能にする。
• 進行状況の分析に基づいてパrameterを動的に適応させることで、収束に伴い効率が向上する。
• 幾何的構成を用いて真のアクティブセットを近似するキャプセル近似を導入し、効率的に作業セットを計算する。
• 解においてゼロであることが保証される成分を特定する安全スクリーニング手法BlitzScreenを導入し、最適化の前処理で問題を単純化する。
• 一様な区分的問題定式化を用いて、ℓ₁正則化回帰、SVM、最小ノルムポリトープ問題など、広範な問題クラスに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 反復ごとの進捗に関する理論的保証を持つworking setアルゴリズムを設計可能か？ヒューリスティックに依存するのではなく。
• RQ2 部分問題のサイズ、成分選択、停止基準をどのように体系的に最適化すれば、収束速度を最大限に高められるか？
• RQ3 より広い問題クラスに適用可能で、従来の手法よりも効果的に目的関数を単純化できる安全スクリーニング手法を開発可能か？
• RQ4 理論的優位性があるにもかかわらず、実際の収束時間に与えるスクリーニングの影響はどの程度か？
• RQ5 多様な凸最適化問題において、LibLinearなどの既存ソルバーと比較してBlitzWSの性能はどの程度か？

主な発見

• BlitzWSは、特にスパースなロジスティック回帰において、LibLinearを著しく上回る収束速度を示し、複数のデータセットで一貫した改善が得られた。
• BlitzWSにおけるキャプセル近似は、真の作業セットと高い類似性を維持しており、すべてのテストケースで|W_cap| ≈ |W|が成立しており、部分問題の品質にほとんど影響を与えないことが示された。
• BlitzScreenは、より小さな安全領域を有することで、従来の安全スクリーニング手法よりも目的関数の単純化をより効果的に実現した。
• 理論的優位性があるにもかかわらず、実際の収束時間に与えるBlitzScreenの影響はほとんどなかった。これは、スクリーニングよりも部分問題設計のほうが収束性能に与える影響が大きいことを示唆している。
• BlitzWSは、ほぼすべてのケースでLibLinearを上回る収束速度を達成した。これは、性能向上において、原理的で根拠のある部分問題選択がスクリーニングよりもはるかに重要であることを示している。