[論文レビュー] Distributed second order methods with variable number of working nodes.

Dragana Bajović, Dušan Jakovetić+2 more|arXiv (Cornell University)|Sep 5, 2017

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、分散準ニュートン（DQN）法に適応することで、反復に伴い確率が増加する割合でノードが確率的に活性化するアイドリング機構を分散の2次最適化に導入する。この手法により、R線形収束率を維持しながら、安価で適応的な更新によって通信コストと計算コストを顕著に削減できる。

ABSTRACT

Recently, an idling mechanism has been introduced in the context of distributed first order methods for minimization of a sum of nodes' local convex costs over a generic, connected network. With the idling mechanism, each node i, at each iteration k, is active -- updates its solution estimate and exchanges messages with its network neighborhood -- with probability pk (pk increasing to one as k grows large), and it stays idle with probability 1-pk, while the activations are independent both across nodes and across iterations. The idling mechanism involves an increasing number of nodes in the algorithm (on average) as the iteration counter k grows, thus avoiding unnecessarily expensive exact updates at the initial iterations while performing beneficial close-to-exact updates near the solution. In this paper, we demonstrate that the idling mechanism can be successfully incorporated in distributed second order methods also. Specifically, we apply the idling mechanism to the recently proposed Distributed Quasi Newton method (DQN). We first show theoretically that DQN with idling exhibits very similar theoretical convergence and convergence rates properties as the standard DQN method, thus achieving the same order of convergence rate (R-linear) as the standard DQN, but with significantly cheaper updates. Further, we demonstrate by simulation examples significant communication and computational savings gained through incorporation of the idling mechanism.

研究の動機と目的

• 分散最適化における正確な2次更新の高い計算コストと通信コストを低減すること、特に初期反復におけるコストを軽減すること。
• 進捗にかかわらず常にフルアップデートを行う従来の分散手法の非効率性を是正し、無駄なリソース使用を回避すること。
• 反復に伴い活性化ノード数を増やす動的アクティベーション戦略を導入し、収束品質を損なわず効率を向上させること。
• 最初の順序手法で使用されてきたアイドリング機構を、特にDQNフレームワークに特化した分散2次最適化に拡張すること。
• アイドリングを強化したDQNが、標準DQNと同等の収束レートを維持しながら、計算コストと通信コストを低減することを実証すること。

提案手法

• 最初の順序手法からアイドリング機構を拡張し、各ノードが反復kで確率pkで活性化する分散準ニュートン（DQN）アルゴリズムに適用する。
• 各反復kにおいて、ノードiは確率pkで自身の解推定値を更新し、近隣ノードとメッセージを交換するが、そうでない場合はアイドル状態にとどまる。
• アクティブなノードに対してはDQNの更新則を維持し、局所的なヘシアン近似と勾配情報を利用して探索方向を計算する。
• ヘシアン近似はノードがアクティブである場合にのみ更新され、高価なヘシアン計算の頻度を低減する。
• 活性化確率pkを時間経過とともに増加させるように設計し、収束に近づくにつれて参加ノード数が増加することを保証する。
• 理論的分析により、アイドリングDQNは更新頻度が低下しても、標準DQNと同等のR線形収束率を維持することが示された。

実験結果

リサーチクエスチョン

• RQ1 最初の順序分散最適化で有効であったアイドリング機構が、DQNのような2次最適化手法に対しても成功裏に拡張可能か？
• RQ2 同じ仮定のもとで、アイドリングDQN手法が標準DQNと同等のR線形収束レートを保持するか？
• RQ3 アイドリング機構により、標準DQNと比較してDQNにおける通信コストと計算コストはどの程度削減されるか？
• RQ4 動的アクティベーション確率pkが、分散2次最適化における収束行動と効率にどのように影響を与えるか？
• RQ5 アイドリング機構により、最終的な解の精度や収束速度を損なわず、初期反復におけるリソース使用量を削減可能か？

主な発見

• アイドリングDQN手法は、標準DQNと同等のR線形収束レートを達成しており、理論的にも収束品質に同等性が確認された。
• 進捗が重要でない初期反復では正確なアップデートを回避することで、計算コストと通信コストを顕著に削減した。
• シミュレーション結果により、特に最適化の初期段階で通信と計算の大幅な節約が実証された。
• 増加する活性化確率pkのおかげで、反復が進むにつれてアクティブなノード数が増加し、収束に近づくと高精度の更新が可能になった。
• アイドリング機構により、低コストな初期反復から高精度な最終反復への滑らかな移行が可能となり、全体の効率が向上した。
• 理論的分析により、アイドリング機構が収束特性を劣化させず、標準DQNと同等の収束次数を維持することが確認された。