[論文レビュー] Network Flow Algorithms for Structured Sparsity

Julien Mairal, Rodolphe Jenatton+2 more|arXiv (Cornell University)|Aug 31, 2010

Sparse and Compressive Sensing Techniques参考文献 54被引用数 122

ひとこと要約

本稿では、重複するグループ上のℓ∞-ノルムの和として定義される構造的スパarsity誘導ノルムのプロキシマル作用素を、効率的に計算する新規なネットワークフローに基づくアルゴリズムを提案する。プロキシマル問題が二次的最小費用流問題の双対問題であることを示すことにより、数百万変数を含む大規模問題に対しても正確で多項式時間の解法を可能にし、従来の手法に比べて大幅にスケーラビリティが向上する。

ABSTRACT

We consider a class of learning problems that involve a structured sparsity-inducing norm defined as the sum of $\ell_\infty$-norms over groups of variables. Whereas a lot of effort has been put in developing fast optimization methods when the groups are disjoint or embedded in a specific hierarchical structure, we address here the case of general overlapping groups. To this end, we show that the corresponding optimization problem is related to network flow optimization. More precisely, the proximal problem associated with the norm we consider is dual to a quadratic min-cost flow problem. We propose an efficient procedure which computes its solution exactly in polynomial time. Our algorithm scales up to millions of variables, and opens up a whole new range of applications for structured sparse models. We present several experiments on image and video data, demonstrating the applicability and scalability of our approach for various problems.

研究の動機と目的

• 一般の重複するグループを伴う構造的スパarsityのための効率的な最適化手法の欠如に対処すること。
• 重複するグループスパarsityノルムのプロキシマル作用素を計算するスケーラブルで正確なアルゴリズムの開発。
• 構造的スパarsityとネットワークフロー最適化の間の理論的接続を確立すること。
• 画像や動画解析などの高次元設定において、構造的スパースモデルの実用的応用を可能にすること。

提案手法

• 重複するグループスパarsityノルムのプロキシマル作用素が、二次的最小費用流問題を解くことと同等であることを示した。
• プロキシマル問題とネットワークフロー定式化との間の双対性を活用し、最小費用流アルゴリズムにより正確な解を得られるようにした。
• 任意の重複するグループ上のℓ∞-ノルムをモデル化するための特別なネットワークフロー構築法を設計した。
• パラメトリック最大フロー・ソルバーを用いてアルゴリズムを実装し、既存手法との性能比較を実施した。
• 双対ノルムを効率的に評価することで、収束監視のための双対ギャップの計算を可能にした。
• FISTAに統合することで、大規模な正則化学習問題の解法に応用した。

実験結果

リサーチクエスチョン

• RQ1 重複するグループスパarsityノルムのプロキシマル作用素は、多項式時間で正確に効率的に計算可能か？
• RQ2 構造的スパarsity正則化とネットワークフロー最適化の間に理論的双対性が存在するか？
• RQ3 本手法は、既存の手法と比較して、数百万変数を含む問題にどの程度スケーリング可能か？
• RQ4 本手法は、実世界の画像および動画学習タスクに効果的に応用可能か？
• RQ5 大規模最適化における収束監視のために、双対ギャップを効率的に計算できるか？

主な発見

• 提案されたProxFlowアルゴリズムは、多項式時間でプロキシマル作用素を計算し、大規模問題に対する正確な解法を可能にした。
• 本手法は、すべてのテストベンチマークで既存のパラメトリック最大フロー・ソルバー（GGTおよびSIMP）を上回った。100万変数を含むデータセットを含む。
• 実行時間は変数数1万で0.4秒、10万で3.1秒、100万で113.0秒であり、優れたスケーラビリティを示した。
• さまざまな正則化領域において、GGTおよびSIMPよりも高速な収束を達成した。
• 双対ノルムの評価により、正確な双対ギャップ計算が可能となり、信頼性の高い収束監視が可能になった。
• 本手法により、動画背景分離や画像パッチ用階層的辞書学習といった新たな応用が可能になった。