[論文レビュー] Convex and Network Flow Optimization for Structured Sparsity

Julien Mairal, Rodolphe Jenatton+2 more|arXiv (Cornell University)|Apr 11, 2011

Sparse and Compressive Sensing Techniques参考文献 86被引用数 83

ひとこと要約

本稿では、重複するグループを伴う構造的スパarsityのための効率的な凸最適化手法を提案する。ネットワークフロー技術を用いて、プロキシマル演算子を正確に計算し、FISTAを用いて収束を加速する。問題を二次的最小費用フロー問題に還元することで、行列分解、辞書学習、画像ノイズ除去などのタスクにおいて、従来手法と比較して顕著な高速化を達成する。

ABSTRACT

We consider a class of learning problems regularized by a structured sparsity-inducing norm defined as the sum of l_2- or l_infinity-norms over groups of variables. Whereas much effort has been put in developing fast optimization techniques when the groups are disjoint or embedded in a hierarchy, we address here the case of general overlapping groups. To this end, we present two different strategies: On the one hand, we show that the proximal operator associated with a sum of l_infinity-norms can be computed exactly in polynomial time by solving a quadratic min-cost flow problem, allowing the use of accelerated proximal gradient methods. On the other hand, we use proximal splitting techniques, and address an equivalent formulation with non-overlapping groups, but in higher dimension and with additional constraints. We propose efficient and scalable algorithms exploiting these two strategies, which are significantly faster than alternative approaches. We illustrate these methods with several problems such as CUR matrix factorization, multi-task learning of tree-structured dictionaries, background subtraction in video sequences, image denoising with wavelets, and topographic dictionary learning of natural image patches.

研究の動機と目的

• 一般の重複するグループを伴う構造的スパarsity正則化の最適化という課題に取り組むこと。これは、標準的な凸最適化手法では取り扱いにくい。
• 重複するグループ上のℓ∞-ノルムの和のプロキシマル演算子を、高速かつ正確に計算する手法を開発すること。
• マルチタスク学習や辞書学習などの構造的スパarsityを含む大規模機械学習問題における、スケーラブルで効率的な最適化を可能にすること。
• 構造的スパarsityとネットワークフロー最適化の間の関係を確立し、最小費用フロー法を用いて正確な計算を実現すること。
• さまざまな応用分野で、既存の手法を上回る速度とスケーラビリティを実現する実用的なアルゴリズムを提供すること。

提案手法

• 重複するグループ上のℓ∞-ノルムの和のプロキシマル演算子は、二次的最小費用フロー問題を解くことで計算され、プロキシマル勾配法における正確で効率的な更新を可能にする。
• 正則化の双対ノルムを用いた双対ギャップの計算を導入し、収束の正確なモニタリングと停止基準を可能にする。
• 高次元空間における重複しないグループを用いた代替定式化を採用し、プロキシマルスプリッティング技術と交替方向乗数法（ADMM）を組み合わせる。
• 収束を加速するために、ラインサーチと適応的リプシッツ定数推定を用いたFISTAアルゴリズムを採用する。
• ネットワークフロー定式化は、パラメトリック最大フロー問題と関連付けられ、GGT や SIMP といった最先端の最大フロー・ソルバと比較可能である。
• 実世界の問題、例えばCUR行列分解、動画背景分離、ウェーブレットベースの画像ノイズ除去に対して、実装とベンチマークが行われた。

実験結果

リサーチクエスチョン

• RQ1 重複するグループ上のℓ∞-ノルムの和のプロキシマル演算子は、正確かつ効率的に計算可能か？
• RQ2 ネットワークフロー最適化は、構造的スパarsity問題におけるプロキシマル法の加速にどのように活用できるか？
• RQ3 最小費用フローに基づくプロキシマル計算は、構造的スパarsityの既存のソルバーよりもどれほど性能向上をもたらすか？
• RQ4 本手法は、高次元行列分解や画像処理タスクのような大規模問題に、効果的にスケーリング可能か？
• RQ5 双対ノルム評価に基づく双対ギャップ計算は、これらの最適化問題における収束モニタリングをどのように改善するか？

主な発見

• 重複するグループスパarsityにℓ∞-ノルムを適用したプロキシマル演算子は、二次的最小費用フロー問題を解くことで正確に計算され、効率的なプロキシマル勾配法を可能にする。
• 提案されたProxFlow手法は、変数数が10⁴、10⁵、10⁶の場合に、それぞれ平均0.4秒、3.1秒、113.0秒の実行時間を達成し、あらゆるスケールでGGTやSIMPを上回る性能を示した。
• 57,600ピクセルの動画背景分離タスクでは、ProxFlowは1.7秒で実行されたのに対し、SIMPは8.31秒、GGTは16.7秒であった。
• 双対ノルム評価に基づく双対ギャップ計算により、収束の正確なモニタリングが可能であり、同じネットワークフロー枠組みを用いて効率的に計算できる。
• 本手法は大規模問題に対しても効果的にスケーリングでき、さまざまな正則化の設定や問題サイズにおいて一貫した速度優位性を示した。
• 本手法により、CUR行列分解、階層的辞書学習、ウェーブレットベースの画像ノイズ除去といったタスクにおける構造的スパarsityの実用的応用が可能となり、速度と精度の向上が実証された。