[論文レビュー] Alternating conditional gradient method for convex feasibility problems

R. Díaz Millán, O. P. Ferreira+1 more|arXiv (Cornell University)|Dec 9, 2019

Optimization and Variational Analysis参考文献 28被引用数 4

ひとこと要約

本稿では、凸集合の交わりに収束するか、互いに交わらない集合間の最近傍点に収束するように保証される、交替的条件勾配（ACondG）法を提案する。この手法は、一方の集合に対しては正確な射影を、もう一方に対しては条件勾配（CondG）法による不正確な射影を組み合わせる。数値実験では、正確な射影法よりも収束が速く、反復回数も少ないことが示された。

ABSTRACT

The classical convex feasibility problem in a finite dimensional Euclidean space is studied in the present paper. We are interested in two cases. First, we assume to know how to compute an exact project onto one of the sets involved and the other set is compact such that the conditional gradient (CondG) method can be used for computing efficiently an inexact projection on it. Second, we assume that both sets involved are compact such that the CondG method can be used for computing efficiently inexact projections on them. We combine alternating projection method with CondG method to design a new method, which can be seen as an inexact feasible version of alternate projection method. The proposed method generates two different sequences belonging to each involved set, which converge to a point in the intersection of them whenever it is not empty. If the intersection is empty, then the sequences converge to points in the respective sets whose distance is equal to the distance between the sets in consideration.

研究の動機と目的

• 正確な射影が計算的に高コストとなる有限次元ユークリッド空間における凸集合の適合性問題に対処すること。
• 1反復あたりの計算コストを低減するため、条件勾配（CondG）法による不正確な射影を用いた手法を開発すること。
• 交わりが空でない場合に、2つの凸集合の交わり内の妥当な点に収束することを保証すること。
• 数値実験において、正確な射影よりも不正確な射影（CondG法）を用いた手法が反復回数と安定性の面で優れていることを示すこと。

提案手法

• 1つの集合に対して正確な射影を、もう1つの集合に対しては条件勾配（CondG）法による不正確で効率的な射影を交互に実行する。
• 2つの列 $ (x^k) \subset A $ と $ (y^k) \subset B $ を生成し、交わり $ A \cap B $ が空でない場合に、それらが $ A \cap B $ 内の点に収束することを保証する。
• 集合が交わらない場合、列は $ x^* \in A $、$ y^* \in B $ に収束し、$ \|x^* - y^*\| = \mathrm{dist}(A,B) $ を満たす。
• スパarsityや可分性を活用し、低コストで実行可能な特殊構造を有するコンact集合に対して、CondG法を用いて不正確な射影を計算する。
• 古典的な交替的射影法の不正確な変種として設計されており、反復を重ねるごとに不正確な射影の精度を段階的に向上させる。
• 2つのバージョンを提案する：1つは1つの集合で正確な射影、もう1つの集合でCondG法を用いるもの。もう1つは両方の集合にCondG法を適用するもの。

実験結果

リサーチクエスチョン

• RQ1 条件勾配法による不正確な射影に置き換えることで、交替的射影法の計算効率を向上させることができるか？
• RQ2 交わりが空でない場合、提案されたACondG法は2つの凸集合の交わり内の妥当な点に収束するか？
• RQ3 交わりが空の場合、反復点はどのように振る舞うか？集合間の最近傍点に収束するか？
• RQ4 反復回数と適合性違反の観点から、不正確なACondG法は正確な交替的射影法よりも優れているか？
• RQ5 CondG法による不正確な射影を用いることで、特に内部に交わりを持つ問題において、より速い収束が達成できるか？

主な発見

• 交わりが空でない問題では、ACondG-2はそれぞれ2、2、8、155反復で妥当な点に到達したが、正確な手法は進捗がなかった。
• 不適合な問題では、ACondG-2はそれぞれ33、5、3、2反復で適合性違反測度 $ \mathcal{O}(10^{-4}) $、$ \mathcal{O}(10^{-3}) $、$ \mathcal{O}(10^{-2}) $、$ \mathcal{O}(10^{-1}) $ を達成した。
• 正確な手法は同程度の適合性違反に到達するまでに82、15、5、2反復を要したため、ACondG-2は集合間の最近傍領域により速く収束することが示された。
• 平均して、ACondG-2は正確な手法よりも反復回数を65.7%も削減した（進捗が得られなくなるまで）。
• 本手法は、特に内部に交わりを持つ問題において、安定性と高速収束を示した。有限回の反復で収束が達成された。
• 数値結果から、CondG法による不正確な射影が、テストした問題クラスにおいて反復効率と安定性の面で正確な射影を上回ることが示唆された。