[論文レビュー] Two-block vs. Multi-block ADMM: An empirical evaluation of convergence

André Gonçalves, Xiaoli Liu+1 more|arXiv (Cornell University)|Jul 10, 2019

Sparse and Compressive Sensing Techniques参考文献 37被引用数 5

ひとこと要約

本稿は、アルツハイマー病、パーキンソン病、および大気質のデータセットにおける多タスク学習問題に対して、2ブロック型と多ブロック型ADMMを実験的に評価し、多ブロック型ADMMが収束速度、プライマル残差の低減、予測精度の観点で一貫して2ブロック型ADMMを上回ることを示した。理論的懸念にもかかわらず、テストした全範囲の双対ステップサイズにおいて、多ブロック型ADMMは顕著に小さいプライマル残差と優れた検証性能を達成しており、実践的には2ブロック型ADMMに代わる選択肢として好ましいことが示唆される。

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) has become a widely used optimization method for convex problems, particularly in the context of data mining in which large optimization problems are often encountered. ADMM has several desirable properties, including the ability to decompose large problems into smaller tractable sub-problems and ease of parallelization, that are essential in these scenarios. The most common form of ADMM is the two-block, in which two sets of primal variables are updated alternatingly. Recent years have seen advances in multi-block ADMM, which update more than two blocks of primal variables sequentially. In this paper, we study the empirical question: {\em Is two-block ADMM always comparable with sequential multi-block ADMM solving an equivalent problem?} In the context of optimization problems arising in multi-task learning, through a comprehensive set of experiments we surprisingly show that multi-block ADMM consistently outperformed two-block ADMM on optimization performance, and as a consequence on prediction performance, across all datasets and for the entire range of dual step sizes. Our results have an important practical implication: rather than simply using the popular two-block ADMM, one may considerably benefit from experimenting with multi-block ADMM applied to an equivalent problem.

研究の動機と目的

• 2ブロック型ADMMが同等の凸最適化問題を解く際に常に多ブロック型ADMMと同等であるかどうかを調査すること。
• 両者の変種が実世界の多タスク学習問題において、収束行動と予測性能を実験的に評価すること。
• 2ブロック型ADMMが標準的な選択肢であるという仮定に疑問を呈し、多ブロック型ADMMを実用的な代替手段として検証すること。
• 双対ステップサイズの選択が、2ブロック型および多ブロック型ADMMの収束性および汎化性能に与える影響を評価すること。
• 大規模な凸最適化問題に適用する際のADMM変種の選定に関する実用的ガイダンスを研究者および実務家に提供すること。

提案手法

• 本研究では、同一の双対ステップサイズをハイパーパrameterとして用いる線形化ADMMを用いて、2ブロック型と多ブロック型ADMMを比較した。
• 実験では、3つのデータセット（アルツハイマー病、パーキンソン病、大気質予測）で同一の問題定式化（TS-MTL）を用いた。
• 各データセットについて、両手法を1,000イテレーション（一部のケースでは10,000イテレーション）実行し、変動を評価するために10回の繰り返しを実施した。
• 収束性はプライマル残差、目的関数値、およびテストデータにおける検証nMSEで測定した。
• 多ブロック型ADMMは、2ブロック型フレームワークを直接拡張した逐次プライマル更新を採用した。
• すべての比較は、最大5桁のオーダーにわたる広範な双対ステップサイズの範囲で実施され、耐性評価を確保した。

実験結果

リサーチクエスチョン

• RQ1 同等の問題に対して、多ブロック型ADMMは2ブロック型ADMMよりも速くかつより安定して収束するか？
• RQ2 異なるデータセットおよび双対ステップサイズの下で、多ブロック型ADMMが2ブロック型ADMMに一貫した性能優位性を示すか？
• RQ3 収束に関する理論的懸念にもかかわらず、多ブロック型ADMMは予測性能をより良く達成できるか？
• RQ4 双対ステップサイズの選択が、2ブロック型および多ブロック型ADMMの収束性および汎化性能にどのように影響するか？
• RQ5 2ブロック型ADMMが収束しなくなる条件は何か？一方で多ブロック型ADMMはその条件下でも安定しているか？

主な発見

• 全データセットおよび双対ステップサイズにおいて、多ブロック型ADMMは2ブロック型ADMMに比べて数桁小さいプライマル残差を達成した。
• アルツハイマー病データセットでは、多ブロック型ADMMが2ブロック型ADMMに比べてプライマル残差を最大3桁小さくした。
• パーキンソン病データセットでは、ρ = 0.5およびρ = 1の場合に2ブロック型ADMMが停滞し、プライマル残差や検証nMSEの低減が見られなかったが、多ブロック型ADMMは収束を継続した。
• 全ρ値の範囲で、多ブロック型ADMMは2ブロック型ADMMに比べて一貫して低い検証nMSEを達成し、ρ値が高くなるほど差が拡大した。
• 2ブロック型ADMMはρ > 1で発散したが、多ブロック型ADMMはより大きなρ値に対しても安定して収束した。
• 大気質予測のケースでは、ρ = 1などの高いρ値において、多ブロック型ADMMがより安定した収束を示し、性能も優れていた。低ρ値ではnMSEの差が顕著でなかったが、高ρ値では顕著な差が観察された。