[論文レビュー] Accelerated Dual Descent for Network Optimization

Michael Zargham, Alejandro Ribeiro+2 more|arXiv (Cornell University)|Apr 6, 2011

Sparse and Compressive Sensing Techniques参考文献 12被引用数 29

ひとこと要約

本稿では、逆ヘッセ行列のテイラー展開による局所的近似を用いてニュートンステップを近似することで、超線形収束を達成する分散最適化アルゴリズムの族である加速双対勾配（ADD）を提案する。この手法はパラメータNを用いて通信コストと精度のトレードオフを実現し、数値実験において、勾配降下法よりも最大2桁速く、一貫性のあるニュートン法よりも1桁速い収束を示した。

ABSTRACT

Dual descent methods are commonly used to solve network optimization problems because their implementation can be distributed through the network. However, their convergence rates are typically very slow. This paper introduces a family of dual descent algorithms that use approximate Newton directions to accelerate the convergence rate of conventional dual descent. These approximate directions can be computed using local information exchanges thereby retaining the benefits of distributed implementations. The approximate Newton directions are obtained through matrix splitting techniques and sparse Taylor approximations of the inverse Hessian.We show that, similarly to conventional Newton methods, the proposed algorithm exhibits superlinear convergence within a neighborhood of the optimal value. Numerical analysis corroborates that convergence times are between one to two orders of magnitude faster than existing distributed optimization methods. A connection with recent developments that use consensus iterations to compute approximate Newton directions is also presented.

研究の動機と目的

• 従来の双対勾配法が分散ネットワーク最適化において遅い収束を示す問題に対処すること。
• グローバル情報が不要な分散環境でも2次最適化を可能にすること。
• 局所的ニュートンステップの近似を通じて、スケーラブルで通信効率の良い超線形収束を維持する手法を開発すること。
• 分散ヘッセ行列の逆行列近似における、近似精度と通信コストのトレードオフを確立すること。
• 提案手法が既存の分散手法よりも収束速度と通信効率において優れていることを実証すること。

提案手法

• 逆ヘッセ行列のテイラー級数展開を用いて、ローカル情報の交換のみでニュートン方向を近似する。
• 近似の次数Nは、ニュートンステップを計算するために必要な近隣の深さ（Nホップ）を決定し、精度と通信コストのトレードオフを可能にする。
• 行列分解技術を用いてヘッセ行列の逆行列近似を分解し、ニュートンステップ方向の分散計算を可能にする。
• 近似されたニュートン方向を使用してもグローバル収束を保証するため、バックトラッキングラインサーチを組み込む。
• アルゴリズムは双対勾配に基づいて導出され、ローカル変数と隣接ノード情報のみを用いた更新を実施するため、完全な分散性を維持する。
• 特定の条件下では、本手法が一貫性のあるニュートン法と同等であることが示され、最近の2つのアプローチを統合する。

実験結果

リサーチクエスチョン

• RQ1 グローバル情報がなくても、分散ネットワーク環境で2次最適化を効果的に適用できるか？
• RQ2 ローカル情報の交換のみで近似されたニュートン方向をどのように計算できるか？
• RQ3 分散ニュートン型手法における、近似精度（Nによるもの）と通信コストのトレードオフは何か？
• RQ4 近似されたニュートンステップを用いることで、分散最適化における超線形収束が保持されるか？
• RQ5 本手法は、勾配降下法や一貫性のあるニュートン法と比較して、収束速度と通信コストの両面で優れているか？

主な発見

• ADD-1とADD-2は、反復回数の観点で従来の勾配降下法よりも最大2桁速い収束を達成した。
• 通信回数の合計において、ADD-1とADD-2は一貫性のあるニュートン法よりも約1桁速い。
• ADD-2はADD-3よりも通信回数が少ないため、近似次数と通信コストの間には単調でないトレードオフがあることが示された。
• 本手法は局所的な超線形収束を示し、集中型ニュートン法と同等の収束特性を示した。
• ADDは異なるランダムネットワークトポロジーにおいて一貫した性能を示し、最小値、平均値、最大値の間での通信コストのばらつきが最小限に抑えられた。
• ネットワークサイズが拡大するにつれて、ADDと他の手法との性能差が拡大する傾向にあり、スケーラビリティの優位性が示された。