[論文レビュー] Centralized and Distributed Newton Methods for Network Optimization and Extensions

Dimitri P. Bertsekas|arXiv (Cornell University)|Jul 2, 2015

Advanced Optimization Algorithms Research参考文献 28被引用数 4

ひとこと要約

本稿では、共役勾配法とネットワーク固有の演算を活用して、大きなヘシアン行列を形成・逆行列化せずにニュートン方向を効率的に計算する、1商品および多商品ネットワークフロー問題に対するニュートン型手法の集中型および分散型実装を提示する。主な貢献は、大規模ネットワーク最適化において高速収束を可能にするスケーラブルで構造を活用するアプローチである。

ABSTRACT

We consider Newton methods for common types of single commodity and multi-commodity network flow problems. Despite the potentially very large dimension of the problem, they can be implemented using the conjugate gradient method and low-dimensional network operations, as shown nearly thirty years ago. We revisit these methods, compare them to more recent proposals, and describe how they can be implemented in a distributed computing system. We also discuss generalizations, including the treatment of arc gains, linear side constraints, and related special structures.

研究の動機と目的

• 高次元変数を伴う大規模ネットワークフロー問題にニュートン法を適用する際の計算課題に対処する。
• ヘシアン行列の明示的形成や逆行列化を回避することで、ネットワーク構造を活用し、ニュートン方向の効率的計算を可能にする。
• 非負制約、供給・需要、線形側面制約などの制約をペナルティ法や増大ラグランジュ法を用いて扱えるようにニュートン法を拡張する。
• パスおよびアーク固有のプロセッサが最小限の通信で協働してニュートン方向を計算する分散コンピューティングフレームワークを設計する。
• アーク利得、線形依存関係、ほぼ対角ヘシアン構造を含めるようにフレームワークを一般化し、多様なネットワーク最適化問題への適用範囲を広げる。

提案手法

• ヘシアン行列を完全に形成しないで、ヘシアン・ベクトル積にのみ依存する共役勾配法を用いて反復的にニュートン方向を計算する。
• パスとアークを走査するネットワーク演算を用いてヘシアン・ベクトル積を計算し、各反復における計算複雑度を低く保つ。
• 各パスおよびアークプロセッサが専用に割り当てられ、各反復でわずか数個のスカラ値を交換する分散システムでニュートン方向計算を実装する。
• 収束を改善し、特に悪条件問題においてステップサイズ選択を容易にするために、対角2次形式の前処理を適用する。
• パスフローとアークフローの間の線形依存関係を扱うために、アークフローをパスフローの線形関数として再定義することで、手法を一般化する。アーク利得を含む。
• ペナルティ関数や増大ラグランジュ関数を用いて制約を扱い、制約付き問題を同じ計算フレームワークが適用可能な無制約または簡略化された形に還元する。

実験結果

リサーチクエスチョン

• RQ1 フルヘシアン行列を明示的に形成・逆行列化せずに、大規模ネットワークフロー問題にニュートン法を効率的に適用できるか？
• RQ2 共役勾配法などの反復的手法を用いて、低次元のネットワーク演算のみでニュートン方向を計算できるか？
• RQ3 提案手法の計算複雑度は、大規模ネットワークにおける標準的ニュートン法や勾配ベースの手法と比較してどの程度か？
• RQ4 プロセッサ間の通信を最小限に抑えて、分散実装に適応できるか？
• RQ5 アーク利得、線形側面制約、非対角ヘシアン構造を含めるために、フレームワークをどの程度一般化できるか？

主な発見

• 共役勾配法を用いたニュートン方向計算の計算複雑度は、O(mT) であり、m は共役勾配反復回数、T はすべてのパスが走査するアーク総数である。これは、直接ヘシアン逆行列を求める O(P³) よりも著しく安価である。
• 2次情報を利用することで高速収束を達成し、多くの場合、1に近い固定ステップサイズを使用可能にし、1次手法よりも効率的である。
• 各パスおよびアークプロセッサがわずか数変数を維持・通信するため、分散実装は可能であり、スケーラブルでモジュラーな計算が可能である。
• アークフローをパスフローの線形関数として再定義することで、アーク利得や線形依存関係を含む問題にフレームワークを一般化でき、効率的なヘシアン・ベクトル積に必要な構造を保持する。
• ヘシアンが特異である場合（例：∇²R = 0 の場合）でも、本手法は有効に機能するが、一意解への収束や収束速度の分析は、このような場合に限り未解決の問題のままである。
• 制約付き問題に対しては、ペナルティ関数や増大ラグランジュ関数を用いて拡張可能であり、同じ計算フレームワークが適用可能な無制約問題に還元できる。