[論文レビュー] Distributed Stochastic Approximation Algorithm With Expanding Truncations: Algorithm and Applications

Jinlong Lei, Han-Fu Chen|arXiv (Cornell University)|Oct 27, 2014

Distributed Control Multi-Agent Systems参考文献 47被引用数 6

ひとこと要約

本稿では、より弱い条件下で動作する分散確率的近似アルゴリズム（DSAAWET）を、多エージェントネットワークに対して提案する。このアルゴリズムは、局所関数の和の根を求めるために、自励的拡張型打ち切り（expanding truncations）を用いる。減少するステップサイズと適応的拡張型打ち切り境界を組み合わせることで、エージェントの推定値がグローバル関数の根集合に含まれる共通集合にほとんど確実に収束することを保証する。従来の研究で要求されるリプシッツ連続性やマルティングール差分ノイズの仮定は不要である。

ABSTRACT

In the paper, a novel distributed stochastic approximation algorithm (DSAA) is proposed to seek roots of the sum of local functions, each of which is associated with an agent from the multiple agents connected in a network. At any time, each agent updates its estimate for the root utilizing the observation of its local function and the information derived from the neighboring agents. The key difference of the proposed algorithm from the existing ones consists in the expanding truncations (so it is called as DSAAWET), by which the boundedness of the estimates can be guaranteed without imposing the growth rate constraints on the local functions. The convergence of the estimates generated by DSAAWET to a consensus set belonging to the root set of the sum function is shown under weaker conditions on the local functions and on the observation noise in comparison with the existing results. We illustrate our approach by two applications, one from signal processing and the other one from distributed optimization. Numerical simulation results are also included.

研究の動機と目的

• 既存の分散確率的近似アルゴリズムが要求する強い仮定（局所関数のグローバルリプシッツ連続性やマルティングール差分系列（MDS）ノイズ）を緩和すること。
• 新たな打ち切りメカニズムを導入することで、局所関数の急激な成長や厳密にMDSでないノイズがある状況でも、分散根探索問題における収束を可能にすること。
• 局所関数やノイズの弱い成長・ノイズ条件のもとでも、エージェントの推定値がグローバル和関数の根集合に含まれる共通集合にほとんど確実に収束することを確立すること。
• 従来の手法が制限的仮定のため失敗するような、分散主成分分析や勾配フリー最適化といった困難な問題への適用可能性を拡張すること。

提案手法

• スイッチングネットワークトポロジー上で、各エージェントが隣接エージェントからの情報と局所的なノイズ付き観測値を用いて推定値を更新する分散確率的近似アルゴリズム（DSAAWET）を提案する。
• 拡張型打ち切りメカニズムを導入：推定値が現在の境界を超えると、初期値に再初期化され、境界が拡大される。これにより、無限大への成長が防止される。
• 減少するステップサイズと拡張型打ち切りを併用することで、安定性と収束を保証する。これは、徐々に小さくなるステップで再初期化を繰り返すのと類似している。
• 局所関数とノイズに関する弱い仮定のもとで、トレーシャルプロセスの収束をラプラシアン型議論と安定性解析を用いて示す。
• 状態ベクトルを共通化成分と不一致成分に分解することで、ネットワーク内での収束行動を解析する。
• 再帰的不等式と収縮議論を用いて、不一致成分が時間とともに減少することを示し、結果として根集合上での共通化が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 局所関数の成長や非MDSノイズに対して、制限的連続性や成長制約を課さずに、分散確率的近似を強靱にできるか？
• RQ2 拡張型打ち切りメカニズムは、スイッチングトポロジーを持つ分散多エージェントネットワークにおいて、推定値の有界性と収束を保証するか？
• RQ3 従来の研究よりも弱い仮定のもとで、提案アルゴリズムがグローバル和関数の根集合に含まれる共通集合にほとんど確実に収束するか？
• RQ4 DSAAWETは、分散主成分分析や勾配フリー最適化といった実世界問題に、どの程度適用可能か？
• RQ5 ノイズがMDSでなく、局所関数がグローバルリプシッツでない場合、収束の理論的保証はどの程度得られるか？

主な発見

• DSAAWETが生成する推定値は、ほとんど確実に和関数の根集合に含まれる共通集合に収束する。
• 拡張型打ち切りメカニズムにより、局所関数のグローバルリプシッツ連続性や成長率制約を仮定しなくても、推定値の有界性が保証される。
• 観測ノイズがマルティングール差分系列でなくてもよい。従来の研究で重要な仮定とされていた点を緩和する。
• 非MDSノイズや非リプシッツ局所関数を含む、[13] よりも弱い条件下でも収束が確立されている。
• 本手法は、分散主成分分析および分散勾配フリー最適化に成功裏に適用され、両者に対してほとんど確実な収束が証明された。
• 数値シミュレーションにより理論的結果が確認され、実用的状況下でのアルゴリズムの強靭性と有効性が示された。