[論文レビュー] Generalized Conditional Gradient for Sparse Estimation

Yaoliang Yu, Xinhua Zhang+1 more|arXiv (Cornell University)|Oct 17, 2014

Sparse and Compressive Sensing Techniques参考文献 61被引用数 13

ひとこと要約

本稿では、効率的な極座標演算子の計算と固定ランクの局所最適化を活用して収束を加速する、構造的スパース推定のための強化された一般化条件付き勾配（GCG）アルゴリズムを提案する。この手法は、高価なSVDを回避し、スパースな反復解を維持することで、行列補完、多クラス分類、マルチビュー学習、重複グループlassoにおいて顕著な訓練コスト削減を達成する。

ABSTRACT

Structured sparsity is an important modeling tool that expands the applicability of convex formulations for data analysis, however it also creates significant challenges for efficient algorithm design. In this paper we investigate the generalized conditional gradient (GCG) algorithm for solving structured sparse optimization problems---demonstrating that, with some enhancements, it can provide a more efficient alternative to current state of the art approaches. After providing a comprehensive overview of the convergence properties of GCG, we develop efficient methods for evaluating polar operators, a subroutine that is required in each GCG iteration. In particular, we show how the polar operator can be efficiently evaluated in two important scenarios: dictionary learning and structured sparse estimation. A further improvement is achieved by interleaving GCG with fixed-rank local subspace optimization. A series of experiments on matrix completion, multi-class classification, multi-view dictionary learning and overlapping group lasso shows that the proposed method can significantly reduce the training cost of current alternatives.

研究の動機と目的

• 構造的スパース最適化における加速近接勾配（APG）法の計算ボトルネックを解消すること。
• 大規模な構造的スパース性問題における一般化条件付き勾配（GCG）アルゴリズムの効率的実装を開発すること。
• GCGと固定ランクの局所最適化を交互に実行することで、スパースな反復解と高速な収束を実現すること。
• 辞書学習や重複グループlassoのような重要な状況において、極座標演算子を効率的に計算するアルゴリズムを提供すること。
• 実世界の機械学習タスクにおいて、最先端の手法に比べて優れた訓練効率を示すこと。

提案手法

• 非凸および凸設定におけるGCGの統一的収束解析を提案し、ゲージ正則化子に対してO(1/t)の収束速度を証明する。
• 滑らかなLP再定式化と下位モジュラ最小化を用いて、極座標演算子の効率的計算を実現し、計算複雑度を低減する。
• 滑らかな問題からのϵ-精度の整数解を回復するために、セカント法を用いた一回限りの下位モジュラ最小化を実施する。
• グループスパース性に対して、グループ重みをソートし、全組み合わせのうちの最適なグループを選択するヒューリスティックなラウンド化手順を設計する。
• GCGと固定ランクの局所部分空間最適化を統合し、実際の収束速度を向上させる。
• 問題の構造を活用して、重複グループlassoにおける最適なグループ選択を列挙するO(nr)-時間のアルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 APG法よりも高価な近接更新を回避することで、GCGを構造的スパース問題においてより効率的にできるか？
• RQ2 辞書学習や重複グループlassoのような重要なスパース推定問題において、極座標演算子を効率的に計算する方法は何か？
• RQ3 極座標演算子の解法に繰り返し手法の代わりに、一回限りの下位モジュラ最小化を用いることで、同等の精度を達成できるか？
• RQ4 GCGと固定ランクの局所最適化を交互に実行することで、収束速度と解の品質にどのような影響を与えるか？
• RQ5 提案手法は、多様な構造的スパース性タスクにおいて顕著な訓練コスト削減を達成できるか？

主な発見

• 提案されたGCG法は、ゲージ正則化子に対してO(1/t)の収束速度を達成し、先行研究の境界を改善する。
• 行列補完、多クラス分類、マルチビュー学習、重複グループlassoにおいて、訓練コストを顕著に削減する。
• トレースノルム正則化では、GCGが完全なSVDを回避し、スぺクトルノルムの計算のみで済ませることで、1イテレーションあたりのコストを1桁分低減する。
• 極座標演算子は一回の下位モジュラ最小化により効率的に計算され、繰り返し高価な関数呼び出しを回避する。
• グループスパース性のためのヒューリスティックラウンド化手順は、O(nr)の時間計算量で近似的に最適な解を達成し、標準的手法を上回る性能を示す。
• GCGと固定ランクの局所最適化を交互に実行することで、実用的な収束加速が得られ、解の品質の低下は最小限に抑えられる。