[論文レビュー] A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization

Deyi Liu, Volkan Cevher+1 more|arXiv (Cornell University)|Feb 17, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用数 5

ひとこと要約

この論文は、制約付き自己共形最小化のためのニュートン・フランク＝ウォルフ法を提案し、$Ó(\varepsilon^{-\nu})$ 個の線形最小化オракル（LMO）呼び出しを達成する。ここで $\nu = 1 + o(1)$ であり、$L$-スムーズ性下での標準的フランク＝ウォルフ法と同等の収束速度を達成する。この手法は自己共形性とLMOに基づく更新を活用し、D最適設計やリッジ正則化付きロジスティック回帰などの問題に対してスケーラブルで、グローバル収束性を有する最適化を可能にする。

ABSTRACT

We demonstrate how to scalably solve a class of constrained self-concordant minimization problems using linear minimization oracles (LMO) over the constraint set. We prove that the number of LMO calls of our method is nearly the same as that of the Frank-Wolfe method in the L-smooth case. Specifically, our Newton Frank-Wolfe method uses $\mathcal{O}(ε^{-ν})$ LMO's, where $ε$ is the desired accuracy and $ν:= 1 + o(1)$. In addition, we demonstrate how our algorithm can exploit the improved variants of the LMO-based schemes, including away-steps, to attain linear convergence rates. We also provide numerical evidence with portfolio design with the competitive ratio, D-optimal experimental design, and logistic regression with the elastic net where Newton Frank-Wolfe outperforms the state-of-the-art.

研究の動機と目的

• 機械学習や統計で一般的な自己共形目的関数に対して、LMOベースの手法に収束保証が欠けているという問題に対処すること。
• 特に対数関数、対数行列式、またはリッジ正則化付き指数関数的目的関数を有する問題に対して、射影ではなく線形最小化オラクル（LMO）を用いるスケーラブルな一階法を開発すること。
• $L$-スムーズでない自己共形関数の収束速度を確立し、フランク＝ウォルフ型手法の適用範囲を $L$-スムーズ領域を超えて拡張すること。
• アウェイステップのような改善されたLMOバージョンが、このクラスの問題に対して線形収束を達成できるように統合できるかを示すこと。

提案手法

• 自己共形バリアフレームワークを用いて、局所的2次収束性を保証するニュートンステップとフランク＝ウォルフ風ラインサーチを組み合わせる。
• 各反復内で減衰付きニュートンステップを用い、探索方向を効率的に計算するためにLMOを用いて部分問題を解く。
• 目的関数の十分な減少を保証するために、自己共形バリアを用いたバックトラッキングラインサーチを採用する。
• 自己共形ポテンシャルに関連するブレグマン発散に基づく、新たなリャプノフ関数を導入して収束を分析する。
• 収束の加速のためアウェイステップを統合し、やや厳しい条件下でも線形収束レートを達成可能にする。
• 理論的分析は、ヘッセ行列の境界や双対ノルムを用いた曲率制御を含む、自己共形性の性質に依存する。

実験結果

リサーチクエスチョン

• RQ1 自己共形関数で $L$-スムーズでない場合に、LMOベースの手法が自己共形目的関数に対して近似的に最適な反復複雑度を達成できるか？
• RQ2 ニュートンステップをフランク＝ウォルフに統合することで、LMOのスケーラビリティを維持しつつ収束を改善できるか？
• RQ3 フランク＝ウォルフ法のアウェイステップ変種が、ヘッセ行列が退化している自己共形問題に対しても線形収束を達成できるか？
• RQ4 自己共形最小化のためのニュートン・フランク＝ウォルフ法の理論的LMO複雑度は何か？
• RQ5 提案手法が、ポートフォリオ設計やD最適設計といった実用的応用において、最先端のソルバーよりも優れた性能を示せるか？

主な発見

• 提案されたニュートン・フランク＝ウォルフ法は、$\mathcal{O}(\varepsilon^{-\nu})$ のLMO複雑度を達成し、$\nu = 1 + o(1)$ であり、$L$-スムーズ性下での標準的フランク＝ウォルフ法と同等のレートを達成する。
• アウェイステップを組み合わせることで、最適解が制約集合の境界上にあってもグローバル線形収束を実現する。
• 数値実験では、競合比においてポートフォリオ設計、D最適実験設計、およびリッジ正則化付きロジスティック回帰において、最先端のソルバーよりも優れた性能を示す。
• 理論的分析により、各反復における部分問題の解が $\eta_k$-精度であることが証明され、$\eta_k = \beta \sigma^k / C$ であり、グローバル収束を保証する。
• 収束レートは $f(x^{k+1}) - f^\star \leq \left(\frac{12\beta^3}{1-2\beta} + \frac{\beta^2}{C^2} + \beta^2\right) \sigma^{2k}$ を満たし、$\varepsilon$-精度に対して $\mathcal{O}(\varepsilon^{-\nu})$ 個のLMO呼び出しを要することが示される。
• D最適設計、最小体積包摂楕円体、量子トモグラフィー、リッジ正則化付きロジスティック回帰など、広範な問題クラスに適用可能である。