[論文レビュー] Playing with Duality: An Overview of Recent Primal-Dual Approaches for Solving Large-Scale Optimization Problems

Nikos Komodakis, Jean‐Christophe Pesquet|arXiv (Cornell University)|Jun 20, 2014

Sparse and Compressive Sensing Techniques参考文献 99被引用数 10

ひとこと要約

本稿では、信号／画像処理、コンピュータ ビジョン、機械学習分野における大規模な凸および離散最適化問題を解くための最近の原双対法について包括的な概説を提供する。原問題と双対問題を同時に解くことで、高価な線形演算子の逆行列計算を回避し、並列処理が可能となり、計算コストを最小限に抑えつつきわめてタイトな近似バウンドを達成する、効率的な完全分割型アルゴリズムを実現する。

ABSTRACT

Optimization methods are at the core of many problems in signal/image processing, computer vision, and machine learning. For a long time, it has been recognized that looking at the dual of an optimization problem may drastically simplify its solution. Deriving efficient strategies which jointly brings into play the primal and the dual problems is however a more recent idea which has generated many important new contributions in the last years. These novel developments are grounded on recent advances in convex analysis, discrete optimization, parallel processing, and non-smooth optimization with emphasis on sparsity issues. In this paper, we aim at presenting the principles of primal-dual approaches, while giving an overview of numerical methods which have been proposed in different contexts. We show the benefits which can be drawn from primal-dual algorithms both for solving large-scale convex optimization problems and discrete ones, and we provide various application examples to illustrate their usefulness.

研究の動機と目的

• 信号／画像処理、コンピュータ ビジョン、機械学習分野における大規模問題のための原双対最適化手法の最近の進展を統合的かつサーベイすること。
• 原双対スキームの計算上の利点、特に完全分割、並列化可能性、線形演算子の逆行列計算の回避を強調すること。
• 特に組み合わせ的構造を持つNP困難問題においても、原双対手法の実用的有用性を示すこと。
• 同時に原問題と双対問題の解を得ることで、追加コストなしに自動的に近似バウンドが生成されることを強調し、性能の監視を可能にすること。
• 収束の加速、ロバストネスの向上、非凸問題および高次元問題への拡張といった、未解決の課題を特定すること。

提案手法

• 凸最適化における強い双対性を活用し、原変数と双対変数を同時に更新するアルゴリズムを導出する。
• 非滑らか項にはプロキシマル作用素、滑らか項には勾配ステップを用いることで、各作用素を独立に処理できる完全分割型スキームを実現する。
• 前向き・後ろ向き分割法を用い、線形作用素と凸関数を含む合成目的関数を扱う。
• 双対分解と緩和技術を適用し、離散的でNP困難な問題を、原双対法で解ける連続的・凸的緩和問題に変換する。
• ブロックADMMおよび交替方向法を用いて、大規模問題における並列的・分散処理を可能にする。
• 原反復と双対反復を維持することで、最適解の上界と下界を生成し、収束のリアルタイム監視を可能にする。

実験結果

リサーチクエスチョン

• RQ1 原双対法は、視覚および学習分野の大規模凸最適化問題に、どのように体系的かつ効果的に適用可能か？
• RQ2 計算効率性とスケーラビリティの観点から、従来の一次元法に比べ、原双対スキームが有する主なアルゴリズム的利点は何か？
• RQ3 追加計算なしに、原双対法はNP困難な離散的最適化問題に対してどのように近似バウンドを提供するか？
• RQ4 実用的応用において、原双対フレームワークは連続的最適化と離散的最適化の間のギャップをどのように埋めるか？
• RQ5 位相再構成やブラインドデコンボリューションなどの非凸問題への原双対法の拡張において、主な課題は何か？

主な発見

• 原双対法は完全分割を達成し、大規模問題では計算的に禁断の線形演算子の逆行列計算を回避する。
• アルゴリズムは並列処理に強く適しており、現代の高性能コンピューティングアーキテクチャに適している。
• 同時に更新される原反復と双対反復は、自然に最適解の上界と下界を生成し、解が近似的に最適に近づくと、両者が同じ値に収束する。
• 高次元平滑化事前分布を用いたステレオマッチングにおいて、本手法は、大規模な航空画像データセット上で、曲率を保全する正則化を実現した深度マップを効果的に回復した。
• 図13に示すように、原反復と双対反復の収束は、解がほぼ最適であることを示しており、追加コストなしにきわめてタイトな近似保証が得られている。
• 本フレームワークは、画像再構成、機械学習、ネットワーク設計など多様な分野で有効であり、広範な適用可能性とロバストネスを示している。