[論文レビュー] Randomized projection methods for convex feasibility problems: conditioning and convergence rates

Ion Necoara, Peter Richtárik+1 more|arXiv (Cornell University)|Jan 15, 2018

Optimization and Variational Analysis参考文献 26被引用数 10

ひとこと要約

本稿は、凸整合性問題における一般化されたランダムプロジェクションのアルゴリズム的枠組みを導入し、複数の集合への同時プロジェクションを可能にすることで並列性を向上させる。問題の条件付けと反復回ごとのプロジェクション数に依存する明示的な部分線形および線形収束レートを確立しており、特に線形正則性と集合の共通部分にボールが存在するという仮定の下で線形収束が示される。

ABSTRACT

Finding a point in the intersection of a collection of closed convex sets, that is the convex feasibility problem, represents the main modeling strategy for many computational problems. In this paper we analyze new stochastic reformulations of the convex feasibility problem in order to facilitate the development of new algorithmic schemes. We also analyze the conditioning problem parameters using certain (linear) regularity assumptions on the individual convex sets. Then, we introduce a general random projection algorithmic framework, which extends to the random settings many existing projection schemes, designed for the general convex feasibility problem. Our general random projection algorithm allows to project simultaneously on several sets, thus providing great flexibility in matching the implementation of the algorithm on the parallel architecture at hand. Based on the conditioning parameters, besides the asymptotic convergence results, we also derive explicit sublinear and linear convergence rates for this general algorithmic framework.

研究の動機と目的

• 未可算な凸集合の族を扱えるように、凸整合性問題の確率的再定式化を導入することで、既存のプロジェクション手法を統合・拡張すること。
• 個々の凸集合に対する線形正則性仮定を用いて、凸整合性問題の条件付けを分析すること。
• 古典的手法を拡張し、並列計算に適した複数の凸集合への同時プロジェクションを可能にする一般化されたランダムプロジェクションのアルゴリズム的枠組みを開発すること。
• 問題固有の条件付けパラメータに基づいた明示的な収束レート（部分線形および線形）を導出すること。
• 反復ごとのプロジェクション数が並列アーキテクチャにおける収束速度とアルゴリズム的効率にどのように影響するかを示すこと。

提案手法

• 制約または集合の確率的サンプリングを導入することで、凸整合性問題を確率的最適化問題に定式化する。
• 各反復で複数の凸集合への同時プロジェクションを許容する一般化されたランダムプロジェクションアルゴリズムを導入し、所定の確率でサンプリングされた確率的選択を用いる。
• ランダム化されたカツマルツ型更新ルールを採用：$ x^{k+1} = x^k - \alpha_k \frac{\Pi_+(S_k^T A x^k - S_k^T b)}{\|A^T S_k\|^2} A^T S_k $、ここで $ S_k $ はランダムなサンプリング行列である。
• 解集合への期待距離 $ \mathbb{E}[\text{dist}_{\mathcal{X}}^2(x^k)] $ を用いて収束を分析し、条件付けパラメータに基づいた境界を導出する。
• 線形正則性理論を適用して線形収束レートを導出し、特に解集合にボールが存在する仮定の下で分析を実施する。
• 収束速度を定量化するための線形正則性定数 $ \kappa $ を定義する：$ \kappa = \frac{\|x^0 - \bar{x}\|^2}{\delta^2 \min_S p_S} $。

実験結果

リサーチクエスチョン

• RQ1 古典的な凸整合性問題は、未可算な凸集合の族を扱えるように、どのように確率的再定式化できるか？
• RQ2 ランダムプロジェクション手法における凸整合性問題の収束挙動を支配する条件付けパラメータは何か？
• RQ3 反復ごとに実行するプロジェクション数は、ランダムプロジェクションアルゴリズムの収束速度にどのように影響するか？
• RQ4 提案されたランダムプロジェクションフレームワークが線形収束を達成するための仮定は何か？
• RQ5 理論的収束保証を維持したまま、並列アーキテクチャにアルゴリズムを適合できるか？

主な発見

• 提案されたランダムプロジェクションフレームワークは、既存の交互プロジェクションおよび平均プロジェクションスキームを一般化・拡張し、複数の集合への同時プロジェクションを可能にする。
• 線形正則性仮定の下で線形収束が確立され、収束レートは問題の幾何的性質から導かれる条件付けパラメータ $ \kappa $ に依存する。
• 解集合に半径 $ \delta $ のボールが存在する場合、線形収束レートは $ \left(1 - \frac{p_{\min} \delta^2}{R^2}\right)^k $ で有界であり、ここで $ R = \|x^0 - \bar{x}\| $ かつ $ p_{\min} = \min_S p_S $ である。
• 解集合への期待距離は $ \mathbb{E}[\text{dist}_{\mathcal{X}}^2(x^k)] \leq \left(1 - \frac{1}{\kappa}\right)^k \text{dist}_{\mathcal{X}}^2(x^0) $ を満たし、条件付け定数に明示的な依存関係があることが示される。
• 列ベクトル $ \|x^k - x^*\| $ は $ \alpha_k \in [0,1] $ の範囲で非増加であり、解への距離の安定性と単調減少を保証する。
• フレームワークは、$ \alpha_k = 1 $ の場合に [27] のランダム化プロジェクションアルゴリズムを特別なケースとして含み、同一の仮定の下で同様の収束レートを回復する。