[論文レビュー] Resolvent Splitting for Sums of Monotone Operators with Minimal Lifting

Yura Malitsky, Matthew K. Tam|arXiv (Cornell University)|Aug 6, 2021

Optimization and Variational Analysis参考文献 18被引用数 4

ひとこと要約

本稿は、$n \geq 2$ 個の極大単調作用素の和を解くための節約的レゾルベント分割アルゴリズムにおける最小のリフト次元に関する未解決問題を解決する。最小リフト次元が$d^*(n) = n-1$ であることを証明し、$n-1$ 重のリフトを伴う新しいアルゴリズム族を確立し、分散最適化およびマルチブロックADMMに応用することで収束性と実用的有用性を示した。

ABSTRACT

In this work, we study fixed point algorithms for finding a zero in the sum of $n\geq 2$ maximally monotone operators by using their resolvents. More precisely, we consider the class of such algorithms where each resolvent is evaluated only once per iteration. For any algorithm from this class, we show that the underlying fixed point operator is necessarily defined on a $d$-fold Cartesian product space with $d\geq n-1$. Further, we show that this bound is unimprovable by providing a family of examples for which $d=n-1$ is attained. This family includes the Douglas-Rachford algorithm as the special case when $n=2$. Applications of the new family of algorithms in distributed decentralised optimisation and multi-block extensions of the alternation direction method of multipliers (ADMM) are discussed.

研究の動機と目的

• $n \geq 2$ 個の極大単調作用素の和を解くための節約的レゾルベント分割アルゴリズムにおける最小リフト次元 $d^*(n)$ を特定するという未解決問題を解決すること。
• Ryu (2022) の手法にインspした技術を用いて、任意のこのようなアルゴリズムに対して $d^*(n) \geq n-1$ の理論的下界を確立すること。
• $d^*(n) = n-1$ を達成する新しい節約的レゾルベント分割の族を構築し、その下界がタイトで改善不能であることを証明すること。
• 新規のアルゴリズムフレームワークを分散型のデセントラライズド最適化およびマルチブロックADMMに応用し、中央集権的なコーディネータを必要としない新しい手法を可能とすること。
• 提示された手法の収束解析と数値的妥当性を、構造化された最適化設定において提供すること。

提案手法

• 固定点作用素解析と単調作用素の性質を用いて、リフト次元の理論的下界を導出し、$n \geq 2$ に対して $d^*(n) \geq n-1$ を示した。
• $(n-1)$ 重のカルテシアン積空間 $\mathcal{H}^{n-1}$ 上で動作する、新しい節約的レゾルベント分割の族を構築し、各イテレーションで各レゾルベントを正確に一度だけ評価する。
• 中央集権的なコーディネータを避けるために、新規の分割フレームワークを用いた、分散型最適化スキームを設計した。この手法は、局所的なレゾルベント評価にのみ依存する。
• 新規の分割に基づくマルチブロックADMMの拡張を考案し、$n$ 個のブロック間で分散計算が可能な構造を持つ更新手順を設計した。
• 固定点反復フレームワークを採用し、作用素を $\mathcal{H}^{n-1}$ 上で定義した。更新手順にはベクトルの加算、スカラー乗算、およびレゾルベント $J_{A_i}$ が含まれる。
• 極大単調性と問題の可解性という標準的仮定の下で、新規アルゴリズムの収束性を証明した。

実験結果

リサーチクエスチョン

• RQ1 $n \geq 2$ 個の極大単調作用素の和を解くための節約的レゾルベント分割アルゴリズムにおける最小リフト次元 $d^*(n)$ は何か？
• RQ2 理論的下界 $d^*(n) \geq n-1$ は達成可能か？ もしそうならば、それを達成する構成的アルゴリズムは存在するか？
• RQ3 新規の $n$ 個作用素レゾルベント分割の族は、中央集権的なコーディネータを必要としない分散最適化に応用可能か？
• RQ4 このフレームワークは、積空間の再定式化を回避し、分散計算を可能にするマルチブロックADMMに拡張可能か？
• RQ5 既存の手法（例：PDHG や 二ブロックADMM）と比較して、新規アルゴリズムの収束行動および反復複雑度はどのように異なるか？

主な発見

• $n \geq 2$ 個の極大単調作用素の節約的レゾルベント分割における最小リフト次元が $d^*(n) = n-1$ であることが証明され、未解決問題が解決された。
• 固定点作用素解析と作用素の単調性の性質を用いて、理論的下界 $d^*(n) \geq n-1$ が確立された。
• $n-1$ 重のリフトを達成する新しい節約的レゾルベント分割の族が構築され、その下界がタイトで改善不能であることが証明された。
• 新規アルゴリズムにより、中央集権的なコーディネータを必要としない分散最適化スキームが可能となり、局所的なレゾルベント評価にのみ依存する。
• 二ブロック手法を一般化し、標準的な積空間再定式化を回避するマルチブロックADMMの拡張が提案され、収束性が証明された。
• 行列分解問題における数値実験では、新規マルチブロックADMMが解の質においてASALMなどの既存手法と同等の性能を示したが、反復あたりの収束速度はやや遅い可能性がある。