[論文レビュー] Asynchronous Decentralized Learning of a Neural Network

Xinyue Liang, Alireza M. Javid+2 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Memory and Neural Computing参考文献 27被引用数 4

ひとこと要約

本稿では、ARockベースのADMMを用いて、自己サイズ推定フィードフォワードニューラルネットワーク（dSSFN）の非同期分散学習を提案し、通信負荷を低減しつつ中央集権的等価性を達成する。片側の活性化と通信を許容することで、非同期dSSFNは特にスパースネットワークにおいてより高速な学習を実現し、精度面でも同期型の対応手法と同等またはそれを上回る性能を示す。

ABSTRACT

In this work, we exploit an asynchronous computing framework namely ARock to learn a deep neural network called self-size estimating feedforward neural network (SSFN) in a decentralized scenario. Using this algorithm namely asynchronous decentralized SSFN (dSSFN), we provide the centralized equivalent solution under certain technical assumptions. Asynchronous dSSFN relaxes the communication bottleneck by allowing one node activation and one side communication, which reduces the communication overhead significantly, consequently increasing the learning speed. We compare asynchronous dSSFN with traditional synchronous dSSFN in the experimental results, which shows the competitive performance of asynchronous dSSFN, especially when the communication network is sparse.

研究の動機と目的

• マスターノードを必要とせず、パラメータ学習において中央集権的等価性を達成する分散型ニューラルネットワークの設計。
• 分散学習における通信ボトル neck を軽減するため、非同期的かつ片側通信を可能にする手法の開発。
• 処理速度が異なる異種ノードに対しても適応可能な低複雑度かつスケーラブルな学習フレームワークの開発。
• 非凸最適化設定下でも収束性と中央集権学習と同等のパフォーマンスを保証すること。
• ネットワークのスパarsityとトポロジーが学習効率とスケーラビリティに与える影響の評価。

提案手法

• 自己サイズ推定フィードフォワードニューラルネットワーク（SSFN）に対して、層ごとの学習アプローチを採用し、重み行列をランダム行列と最適化対象の部分行列に分解する。
• 部分行列成分の凸最適化はADMMにより解き、中央集権的等価性を保証するとともに、分散型および非同期計算と両立可能である。
• 非同期ADMMの実装にARockアルゴリズムを用い、ノードが古くなった情報を使用して更新し、片側通信を可能にすることで、同期遅延を低減する。
• 各ノードは自らのデータを用いて局所的更新を行い、隣接ノードとの間での情報交換は部分的な情報に限定することで、通信負荷を最小限に抑える。
• アルゴリズムは全層にわたり反復的に適用され、すべてのADMM反復で固定ステップサイズη = 0.5が使用される。
• フレームワークはリング型および円形ネットワークトポロジーをサポートし、異なるネットワーク次数とノード数の下で性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 非同期分散学習は、非凸ニューラルネットワーク学習環境において中央集権的等価性を達成できるか？
• RQ2 ARockベースのADMMにおける片側活性化と通信は、分散ニューラルネットワークの学習速度と収束性にどのように影響するか？
• RQ3 ネットワークのスパarsityとトポロジーは、分散ディープラーニングモデルの学習効率にどのような影響を及ぼすか？
• RQ4 さまざまなデータセットにおいて、非同期dSSFNは同期型dSSFNと比べて精度と学習時間の点でどのように異なるか？
• RQ5 提案手法は、通信負荷を低減しつつも、分散システムにおいて競争力のあるパフォーマンスを維持できるか？

主な発見

• 非同期dSSFNは中央集権的等価性を達成し、全データセットにおいて中央集権的SSFNと同等またはわずかに優れたテスト精度を示す。
• Vowelデータセットでは、非同期dSSFNが7.8秒で61.2%の精度を達成したのに対し、同期型dSSFNは34.9秒で61.3%の精度を記録した。
• Caltech101データセットでは、非同期dSSFNが27.4秒で75.4%の精度に到達したのに対し、同期型dSSFNは427.5秒で74.2%の精度にとどまった。
• リングネットワーク（d=2）では、非同期dSSFNの学習時間はノード数の増加に伴いわずかに増加する一方、同期型dSSFNは通信負荷の影響で学習時間が単調に増加した。
• スパースネットワーク（低d）では、非同期dSSFNが同期型dSSFNに比べて著しく高速な学習を実現し、低接続性に対しても頑健であることが示された。
• MNIST、NORB、Letter、Satimageといった多様なデータセットにおいて、非同期更新の影響を受けても精度の低下が最小限に抑えられ、競争力のあるパフォーマンスを維持した。