[論文レビュー] On the Expected Convergence of Randomly Permuted ADMM

Ruoyu Sun, Zhi‐Quan Luo+1 more|arXiv (Cornell University)|Mar 22, 2015

Sparse and Compressive Sensing Techniques参考文献 37被引用数 33

ひとこと要約

この論文は、交替方向乗数法（ADMM）におけるブロック更新順序をランダムに並び替えることで、正方線形方程式系を解く際に期待値における収束を保証することを証明している—標準的なマルチブロックADMMが収束しないにもかかわらずである。主な貢献は、巡回的更新ルールとランダム順序更新ルールの根本的な違いを確立したことである。後者は確率的ランダム化のもとで収束を保証する。

ABSTRACT

The alternating direction method of multipliers (ADMM) is now widely used in many fields, and its convergence was proved when two blocks of variables are alternately updated. It is computationally beneficial to extend the ADMM directly to the case of a multi-block convex minimization problem. Unfortunately, such an extension fails to converge even when solving a simple square system of linear equations. In this paper, however, we prove that, if in each step one randomly and independently permutes the updating order of any given number of blocks followed by the regular multiplier update, the method will converge in expectation for solving the square system of linear equations. Our result indicates that for ADMM the cyclic update rule and the random permutation update rule are fundamentally different. To the best of our knowledge, this is the first example that such a difference is rigorously established for a specific optimization algorithm, although the random permutation rule has been reported to be experimentally better than the cyclic rule in many large-scale optimization problems. Our analysis technique of random permutation might be useful in other contexts.

研究の動機と目的

• 線形方程式系を解く際のマルチブロックADMMにおける収束保証の欠如に対処すること。
• 巡回的更新が失敗するのに対して、ブロック更新のランダム順序化が収束を回復できるかどうかを調査すること。
• ADMMにおける巡回的更新とランダム順序更新ルールの間の理論的差異を明確にすること。
• 一階最適化手法におけるランダム化更新スキームを分析するための新規な分析フレームワークを提供すること。

提案手法

• 各反復でブロック更新順序をランダムに並び替える一方で、標準的なADMMの双対上昇更新を維持する。
• 確率的近似および行列解析の技術を用いて、期待値における収束行動を分析する。
• マルチブロックADMMの失敗を代表するテストケースとして、正方線形方程式系に焦点を当てる。
• 反復回ごとの最適性ギャップの期待値の減少をバウンディングすることで、期待値における収束を証明する。
• 反復間での順序の独立性を活用して、マルティンゲールに類似した性質を導出する。
• ランダム順序の性質および対称正定値行列の性質を用いて理論的結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 線形方程式系に対して、ブロック更新のランダム順序化がマルチブロックADMMにおける収束を回復するか？
• RQ2 ランダム順序ADMMの収束行動は、巡回的ADMMとどのように異なるか？
• RQ3 ランダム順序ADMMに対して、期待値における収束保証を理論的に確立できるか？
• RQ4 どのような更新ルールの構造的性質が、ランダム化のもとでの収束を可能にするか？

主な発見

• ブロック更新順序をランダムに並び替えることで、正方線形方程式系に対するマルチブロックADMMが期待値において収束することが保証される。
• 標準的なマルチブロックADMMが巡回的更新を用いる場合に収束しない問題に対しても、本手法は収束することが保証される。
• この結果により、ADMMにおける巡回的更新とランダム順序更新ルールの根本的な理論的差異が確立される。
• 本分析は、一階最適化手法におけるランダム化更新スキームを研究するための新しいフレームワークを提供する。
• 研究結果は、大規模最適化におけるランダム順序化の経験的成功を説明し、その使用の理論的根拠を提供する。