[論文レビュー] Douglas-Rachford splitting for a Lipschitz continuous and a strongly monotone operator

Walaa M. Moursi, Lieven Vandenberghe|arXiv (Cornell University)|May 23, 2018

Optimization and Variational Analysis参考文献 28被引用数 6

ひとこと要約

本稿は、一方の作用素がリプシッツ連続で、もう一方が強単調である場合に、ドーソン＝ラッハフォード分割法の線形収束を確立する。これは、従来の結果がココーエルビティを要請していたのを拡張したものである。主な貢献は、非対称な設定において明示的で鋭い線形収束レートの導出であり、歪対称写像を含むプリミナル・デュアル最適化問題への応用が含まれる。

ABSTRACT

The Douglas-Rachford method is a popular splitting technique for finding a zero of the sum of two subdifferential operators of proper closed convex functions; more generally two maximally monotone operators. Recent results concerned with linear rates of convergence of the method require additional properties of the underlying monotone operators, such as strong monotonicity and cocoercivity. In this paper, we study the case when one operator is Lipschitz continuous but not necessarily a subdifferential operator and the other operator is strongly monotone. This situation arises in optimization methods which involve primal-dual approaches. We provide new linear convergence results in this setting.

研究の動機と目的

• 従来の結果が完全にカバーしていない設定、すなわち一方の作用素がリプシッツ連続で、もう一方が強単調である場合に、ドーソン＝ラッハフォードアルゴリズムの線形収束を確立すること。
• 既存理論におけるギャップを解消すること。具体的には、収束レートがココーエルビティまたは対称性の仮定のもとでのみ知られていたこと。
• この非対称な場合における鋭い、明示的な収束レートの式を提供し、既知の境界を改善すること。
• 理論的結果を、一方の作用素が歪対称線形写像である凸最適化におけるプリミナル・デュアル・ドーソン＝ラッハフォード法に応用すること。

提案手法

• 反射リゾルベントの性質を活用し、作用素のリゾルベントと反射リゾルベントを用いてドーソン＝ラッハフォード反復を再パrameter化する。
• リゾルベントおよび反射リゾルベントの性質と作用素の性質（リプシッツ連続性、強単調性）との間の同値性を、行列表現を用いて確立する。
• 与えられた仮定の下で、反復作用素の固有値特性を分析することにより収束レートを導出する。
• 重要な技術的ステップとして、リプシッツ定数βと強単調性パラメータµを用いて反復作用素のノルムを評価する。
• レート式は、プリミナル・デュアル応用におけるβ、µ、および作用素ノルム∥L∥の関数として導出される。
• 理論的結果は、歪対称線形作用素と部分微分作用素を含むプリミナル・デュアル包含問題への応用を通じて検証される。

実験結果

リサーチクエスチョン

• RQ1 一方の作用素がリプシッツ連続で、もう一方が強単調である場合に、ココーエルビティや対称性の仮定を必要とせずに、ドーソン＝ラッハフォード法の線形収束を確立できるか？
• RQ2 この非対称な設定における鋭い線形収束レートは何か？ また、リプシッツ定数と強単調性パラメータにどのように依存するか？
• RQ3 リプシッツ作用素が部分微分作用素でない場合、たとえば歪対称線形写像の場合、収束レートはどのように振る舞うか？
• RQ4 理論的レートはプリミナル・デュアル最適化の文脈で適用可能で、検証可能か？
• RQ5 ステップ長パラメータγに関して、収束レートは効果的に最適化可能か？

主な発見

• 一方の作用素がリプシッツ連続で、もう一方が強単調である場合、ドーソン＝ラッハフォード法は、部分微分作用素でないリプシッツ作用素が存在しても、鋭い収束レートで線形収束する。
• 収束レートは r = 1/(2(1+µ)) × [√(2µ² + 2µ + 1) + 2(1 − 2(1 + ∥L∥²)⁻¹)½ µ(1 + µ) + 1] で与えられ、これは明示的でµと∥L∥に依存する。
• レートは作用素に対して非対称であり、強単調作用素がリプシッツ作用素に置き換えられる場合、特に後者が線形でない限り、拡張されない。
• プリミナル・デュアル設定では、すべての反復（プリミナル、デュアル、およびプリミナル・デュアル変数）に対して、同じレートで線形収束が達成される。
• 一般には、ステップ長γに関するレートの最適化は容易ではなく、γの最適化において五次方程式が生じることが示された。
• ギゼルソンの枠組みを拡張し、ココーエルビティの代わりにリプシッツ連続性を含む新しいケースをカバーすることで、分割法の理論的基盤をより広くする。