[論文レビュー] Blended Conditional Gradients: the unconditioning of conditional gradients

Gábor Braun, Sebastian Pokutta+2 more|arXiv (Cornell University)|May 18, 2018

Sparse and Compressive Sensing Techniques参考文献 19被引用数 18

ひとこと要約

本稿では、多面体上での滑らかで凸な関数を最小化するための新しい一階最適化法であるBlended Conditional Gradients (BCG) を提案する。BCG は、弱い分離オラクルと単体降下オラクルを用いて、活性頂点集合上で勾配に基づく降下ステップと条件付き勾配ステップを組み合わせ、強い凸関数に対して線形収束を達成しながらスパarsityを維持し、射影を回避する。既存の変種と比較して反復回数およびウォールクロック時間の両面で優れている。

ABSTRACT

We present a blended conditional gradient approach for minimizing a smooth convex function over a polytope P, combining the Frank--Wolfe algorithm (also called conditional gradient) with gradient-based steps, different from away steps and pairwise steps, but still achieving linear convergence for strongly convex functions, along with good practical performance. Our approach retains all favorable properties of conditional gradient algorithms, notably avoidance of projections onto P and maintenance of iterates as sparse convex combinations of a limited number of extreme points of P. The algorithm is lazy, making use of inexpensive inexact solutions of the linear programming subproblem that characterizes the conditional gradient approach. It decreases measures of optimality (primal and dual gaps) rapidly, both in the number of iterations and in wall-clock time, outperforming even the lazy conditional gradient algorithms of [arXiv:1410.8816]. We also present a streamlined version of the algorithm for the probability simplex.

研究の動機と目的

• 強い凸関数に対して線形収束を達成しつつ、スパarsityを維持し、射影を回避する条件付き勾配法の開発。
• 不正確なオラクル呼び出しと勾配に基づく降下ステップを組み合わせることで、既存の条件付き勾配変種の実用的性能を向上。
• 双対ギャップ推定に基づき、フレンク・ウルフ、降下、ドロップステップを動的に選択するラジオ、適応的アルゴリズムの設計。
• 完全補正ステップを必要とせず、効率性とスパarsityを保つために小さな活性頂点集合を維持。
• 最先端の変種と同等の理論的収束保証を提供するとともに、ウォールクロック時間において実験的に優れる性能を発揮。

提案手法

• BCG は弱い分離オラクルを用い、LP オラクルが達成する進捗の一部を達成する頂点を特定することで、完全なLPソルブの依存度を低減する。
• 活性頂点集合を維持し、単体降下オラクル（SiDO）を用いてこれらの頂点の凸包内で降下ステップを実行することで、目的関数値を改善するか、活性集合のサイズを縮小する。
• 双対ギャップの推定に基づき、フレンク・ウルフステップ、降下ステップ、ドロップステップを交互に実行し、適応的ステップ選択を可能にする。
• 降下ステップは、活性集合上で射影勾配降下（PGD）または単純勾配降下（SiGD）を用い、進捗を最大化するようにステップサイズを決定する。
• この手法は射影フリーであり、反復が多面体の極端点の少数のスパースな凸結合のまま保たれる。
• 特定のドメインである確率単体向けに、効率性を最適化した簡素化版を提供する。

実験結果

リサーチクエスチョン

• RQ1 強い凸関数に対して線形収束を達成しつつ、スパarsityを維持し、射影を回避する条件付き勾配法は可能か？
• RQ2 不正確で弱いオラクルを勾配に基づく降下ステップと効果的に組み合わせることで、収束速度とウォールクロック性能を向上させられるか？
• RQ3 フレンク・ウルフ、降下、ドロップステップの適応的ブレンドは、ペアワイズステップやラジオCGといった既存の変種と比較して実際の性能でどう異なるか？
• RQ4 完全補正ステップを必要とせず、進捗と計算コストのバランスを効果的に保つために、活性頂点集合を効率的に管理できるか？
• RQ5 単体降下オラクルの使用は、標準のアウェイステップやペアワイズステップ法よりも速い収束をもたらすか？

主な発見

• BCG は強い凸関数に対して線形収束を達成し、最先端のフレンク・ウルフ変種と同程度の理論的収束レート（定数倍を除く）を達成する。
• BCG は、Braun ら（2017）のラジオ条件付き勾配（LCG）アルゴリズムを複数のテストインスタンスで反復回数およびウォールクロック時間の両面で上回る。
• 11ノードのスパニングツリー多面体において、BCG は3031回の反復を経て1501回のLPオラクル呼び出しを行い、232個の頂点を用いた解を生成した。
• ディスコム多面体では、346回の反復、71回のLP呼び出し、最終解が39個の頂点で構成され、双対ギャップの急速な低下が確認された。
• SiDO の加速版は、部分問題のサイズが小さいため、ウォールクロック時間に顕著な高速化をもたらさなかったが、反復回数はわずかに改善された。
• BCG は、完全補正フレンク・ウルフ（FCFW）よりもウォールクロック時間で優れており、FCFW が反復あたりの進捗に優れているにもかかわらず、その補正ステップの高コストが要因である。