[論文レビュー] On Unbounded Delays in Asynchronous Parallel Fixed-Point Algorithms

Robert Hannah, Wotao Yin|arXiv (Cornell University)|Sep 15, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用数 5

ひとこと要約

本稿は、遅延が有界でない場合でもARock非同期並列固定点アルゴリズムの収束を確立した。これは、従来の研究が有界な遅延を要件としていたのに対し、顕著な一般化である。適応的ステップサイズと新規のリャプノフ関数を導入することで、より大きな、遅延依存のステップサイズを用いて実用的な収束を達成し、遅延分布や作用素構造に関する制限のない仮定のもとで、大規模最適化および機械学習への広範な適用を可能にした。

ABSTRACT

The need for scalable numerical solutions has motivated the development of asynchronous parallel algorithms, where a set of nodes run in parallel with little or no synchronization, thus computing with delayed information. This paper studies the convergence of the asynchronous parallel algorithm ARock under potentially unbounded delays. ARock is a general asynchronous algorithm that has many applications. It parallelizes fixed-point iterations by letting a set of nodes randomly choose solution coordinates and update them in an asynchronous parallel fashion. ARock takes some recent asynchronous coordinate descent algorithms as special cases and gives rise to new asynchronous operator-splitting algorithms. Existing analysis of ARock assumes the delays to be bounded, and uses this bound to set a step size that is important to both convergence and efficiency. Other work, though allowing unbounded delays, imposes strict conditions on the underlying fixed-point operator, resulting in limited applications. In this paper, convergence is established under unbounded delays, which can be either stochastic or deterministic. The proposed step sizes are more practical and generally larger than those in the existing work. The step size adapts to the delay distribution or the current delay being experienced in the system. New Lyapunov functions, which are the key to analyzing asynchronous algorithms, are generated to obtain our results. A set of applicable optimization algorithms with large-scale applications are given, including machine learning and scientific computing algorithms.

研究の動機と目的

• 既存の非同期固定点アルゴリズムが収束のために有界な遅延を要件としているという制限を解消すること。
• ARockアルゴリズムが有界でない、確率的または決定的遅延のもとでも収束することを可能にすること。
• 遅延分布または現在の遅延に応じてスケーリングされる、実用的で適応的なステップサイズの開発。
• 有界でない遅延を伴う非同期更新のダイナミクスを捉える新しいリャプノフ関数の構築。
• ARockの適用範囲を機械学習および科学計算分野の大規模最適化問題へ拡張すること。

提案手法

• 本稿は、新規のリャプノフ関数のクラスを導入することで、遅延が無限大であっても許容可能なARockの収束解析フレームワークを提案する。
• グローバルな上限を必要とせず、現在の遅延または遅延分布に依存する適応的ステップサイズを導出する。
• 非同期更新を遅延情報を持つ確率的座標反復としてモデル化し、確率的近似技術を用いる。
• 固定点反復フレームワークの一般化形を用いて、任意の遅延列を扱えるように解析を拡張する。
• 有界な遅延仮定を排除しつつも収束保証を維持する点で、先行研究を一般化する。
• 本手法を用いて新規の非同期作用素分割アルゴリズムを導出し、既知の非同期座標降下法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 遅延が有界ではなく、かつ従来の研究と同様に有界である場合とは異なり、ARockアルゴリズムは収束可能か？
• RQ2 収束速度と実用性を向上させるために、有界でない遅延に適応するステップサイズはどのように設計できるか？
• RQ3 有界でない遅延下での収束を解析するために必要な新規のリャプノフ関数は何か？
• RQ4 有界でない遅延下での収束に必要な固定点作用素に関する条件は何か？
• RQ5 提案されたフレームワークを用いて、大規模最適化のための新規非同期アルゴリズムをどのように導出できるか？

主な発見

• ARockアルゴリズムは、遅延が有界ではなく、確率的および決定的両方の状況下でも収束し、遅延に事前限界を要件としない。
• 提案されたステップサイズは適応的であり、従来の有界遅延解析におけるものより一般的に大きく、アルゴリズムの効率性を向上させる。
• 非同期更新のエネルギー減衰を、有界でない遅延でさえも捉える新しいリャプノフ関数が構築された。
• 収束解析は、最適化および機械学習分野への広範な適用を可能にする、広範な固定点作用素クラスに適用可能である。
• 本フレームワークは新規の非同期作用素分割アルゴリズムを導出し、既存の非同期座標降下法を一般化する。
• 本手法は、機械学習および科学計算分野の大規模問題に適用可能であり、実用的なステップサイズ選択が実証された。