[論文レビュー] Dykstra splitting and an approximate proximal point algorithm for minimizing the sum of convex functions

C. H. Jeffrey Pang|arXiv (Cornell University)|Sep 27, 2017

Optimization and Variational Analysis参考文献 31被引用数 3

ひとこと要約

本稿は、凸関数の和を最小化する問題にDykstraの分割法を拡張し、正則化項として二次形式を組み込むことで、循環的でない更新や複数関数の最小化を許容する条件下で、プライマル最小値への収束を証明している。さらに、Dykstraの分割法を用いた近似近接点法を導入し、双対最小値が存在する場合にO(1/n)の収束速度を達成する。

ABSTRACT

We show that Dykstra's splitting for projecting onto the intersection of convex sets can be extended to minimize the sum of convex functions and a regularizing quadratic. We give conditions for which convergence to the primal minimizer holds so that more than one convex function can be minimized at a time, the convex functions are not necessarily sampled in a cyclic manner, and the SHQP strategy for problems involving the intersection of more than one convex set can be applied. When the sum does not involve the regularizing quadratic, we discuss an approximate proximal point method combined with Dykstra's splitting to minimize this sum.

研究の動機と目的

• Dykstraの分割法を凸集合の積集合への射影から、正則化二次形式を含む凸関数の和の最小化へ一般化すること。
• 循環的更新や制約条件の資格を要しない条件下で、プライマル最小値への収束を確立すること。
• 正則化二次形式を含まない凸関数の和を最小化するために、Dykstraの分割法を活用する近似近接点法を開発すること。
• 複数の凸集合を含む問題における収束加速のため、SHQP（サポートリング半空間と二次計画法）ヒューリスティクスの使用を可能にすること。
• 双対最小値が存在する場合に、O(1/n)収束速度が保証される条件を提示すること。

提案手法

• 一般凸関数に対する近接写像に射影を置き換えることで、Dykstraの分割法を ∑ᵢ hᵢ(x) + ½‖x − x₀‖² の最小化問題に適応する。
• 双対問題におけるブロック座標最小化を用い、各関数 hᵢ を別々のブロックとして扱い、更新が循環的でなくてもよいようにする。
• 凸集合の積集合をより正確に近似するため、サポートリング半空間（SHQP）ヒューリスティクスを導入し、収束性を向上させる。
• Dykstraの分割法を用いて、(1.3)形の逐次部分問題を解く近接点法を適用し、適応的中心更新を実施する。
• Fenchel双対性と補助関数を用いて双対条件を導出し、最適解への距離に関するはさみうちの定理により収束を保証する。
• コンパクト性と誤差バウンドの議論を用いて、反復列が凸集合の交わりに近づくことを確認し、妥当性条件を満たすことを検証する。

実験結果

リサーチクエスチョン

• RQ1 Dykstraの分割法は、集合への射影を超えて、正則化二次形式を含む凸関数の和の最小化へ拡張可能か？
• RQ2 関数の最小化が循環的でない順序で行われる場合、Dykstraの分割法がプライマル最小値へ収束する条件は何か？
• RQ3 SHQPヒューリスティクスは、形式的に正当化され、Dykstraの分割法に統合可能か？ また、複数の凸集合を含む問題における収束性向上に寄与するか？
• RQ4 Dykstraの分割法と組み合わせた近似近接点法の収束速度は、どのような保証が可能か？
• RQ5 交わりが正確に分かっていない場合でも、反復列の妥当性と最適解への近接性を実際の問題でどのように検証できるか？

主な発見

• Dykstraの分割法は、制約条件の資格を要せず、非循環的更新でも ∑ᵢ hᵢ(x) + ½‖x − x₀‖² のプライマル最小値へ収束する。
• 双対最小値が存在する場合、最適解への距離にはさみうちの定理を適用することで、O(1/n)の収束速度が達成されることが示された。
• SHQPヒューリスティクスは、過去の反復から得た部分勾配を用いて、凸集合の交わりのよりタイトな半空間近似を構築することで収束性を向上させる。
• 近似近接点法が提案され、Dykstraの分割法を部分問題の解法に用いるが、緩い条件下でも収束が保証される。
• 各集合への距離推定を用いて反復列の妥当性を検証でき、コンパクト性により各集合への距離が小さいことは交わりへの距離が小さいことを意味する。
• 本手法では、複数の凸関数を同時に最小化可能であり、関数のサンプリング順序が固定である必要がない。