[論文レビュー] Projective Splitting with Forward Steps: Asynchronous and Block-Iterative Operator Splitting

Patrick R. Johnstone, Jonathan Eckstein|arXiv (Cornell University)|Mar 19, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用数 14

ひとこと要約

本稿は、単調包含問題を解くためのプロジェクト型分割フレームワークの新しい前方ステップ変種を導入し、リプシッツ連続作用素に対して従来の後退ステップの代わりに前方ステップを使用できる非同期的かつブロック反復型のアルゴリズムを可能にした。本手法は、特に大規模なレア特徴選択問題において、既存手法と比較して優れた性能とより簡単な実装を達成した。

ABSTRACT

This work is concerned with the classical problem of finding a zero of a sum of maximal monotone operators. For the projective splitting framework recently proposed by Combettes and Eckstein, we show how to replace the fundamental subproblem calculation using a backward step with one based on two forward steps. The resulting algorithms have the same kind of coordination procedure and can be implemented in the same block-iterative and highly flexible manner, but may perform backward steps on some operators and forward steps on others. Prior algorithms in the projective splitting family have used only backward steps. Forward steps can be used for any Lipschitz-continuous operators provided the stepsize is bounded by the inverse of the Lipschitz constant. If the Lipschitz constant is unknown, a simple backtracking linesearch procedure may be used. For affine operators, the stepsize can be chosen adaptively without knowledge of the Lipschitz constant and without any additional forward steps. We close the paper by empirically studying the performance of several kinds of splitting algorithms on a large-scale rare feature selection problem.

研究の動機と目的

• 既存のプロジェクト型分割手法が後退（プロキシマル）ステップに依存するという制限を解消すること。これは計算コストが高くなることがある。
• リプシッツ連続作用素に対して、計算的に安価な前方ステップをプロジェクト型分割フレームワーク内で使用可能にする。
• 収束保証を維持しながら、柔軟性があり非同期的かつブロック反復型のアルゴリズムを実現する。
• 未知のリプシッツ定数に対応するためのバックトラッキングラインサーチ手順と、アフィン作用素に対する適応的ステップサイズ選択を提供する。
• 実世界のデータから得た大規模なレア特徴選択問題において、新手法の実用的優位性を実証する。

提案手法

• リプシッツ連続作用素に対して、標準的な後退ステップの代わりに、Tsengの前方-後退-前方法に類似した二前方ステップ手順を導入する。
• 集合 $ \mathcal{I}_F $ に属する各 $ T_i $ に対して、前方ステップ作用素 $ I - \rho T_i $ を使用する。ここで $ \rho $ はリプシッツ定数の逆数によって上限が定められる。
• リプシッツ定数が未知の場合に収束を保証するために、バックトラッキングラインサーチを用いて $ \rho $ を決定する。
• アフィン作用素の場合、リプシッツ定数の知識なしに適応的ステップサイズ選択を可能にする。
• 新規前方ステップメカニズムを既存のプロジェクト型分割フレームワークに統合し、ブロック反復型および非同期処理の能力を保持する。
• 実世界のTripAdvisorレビューのデータを用いた大規模なレア特徴選択問題に本手法を適用し、複数のバリエーション間での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ連続作用素に対して、前方ステップをプロジェクト型分割フレームワークに効果的に統合し、後退ステップに置き換えることは可能か？
• RQ2 大規模問題において、本手法の前方ステップ法はTseng法やエクストラグラデント法といった既存のオペレータ分割アルゴリズムと比較して、性能にどの程度優れているか？
• RQ3 ブロック反復型およびグリーディ選択戦略が収束速度と実用的効率に与える影響は何か？
• RQ4 リプシッツ定数の事前知識がなくても収束を達成できるか？バックトラッキングラインサーチ手順の有効性はいかがなものか？
• RQ5 実装の複雑さは、近似後退ステップ変種と比較して、前方ステップ法がどのように異なるか？

主な発見

• 提案された前方ステップ法、すなわち psf-g（プロジェクト型分割に前方ステップを適用、グリーディ選択）は、レア特徴選択問題の全テストインスタンスで最速の収束を達成した。
• psf-g は、psf-r（ランダム選択）、psf-c（巡回選択）、psf-1（全ブロック）をすべて上回り、グリーディでブロック反復型の選択戦略の利点を示した。
• 近似後退ステップを用いる psb-g は $ \lambda = 10^{-6} $ の場合、psf-g とほぼ同等の速度であったが、$ \lambda = 10^{-8} $ および $ \lambda = 10^{-4} $ の場合、著しく遅く、チューニングの感度と部分問題の解の品質に依存することが示された。
• psf-g は、各反復で非線形部分問題を解く必要がないため、psb-g よりも実装が簡単で、実装の複雑さとパrameterチューニングを低減した。
• バックトラッキングラインサーチを用いた前方ステップ法は、未知のリプシッツ定数に対しても効果的に対応でき、事前の知識なしに安定した性能を発揮した。
• 既存手法（tseng-pd, frb-pd, cp-bt）は、psf-g や psb-g に劣っており、この問題クラスでは競争力に欠けることが示された。