[論文レビュー] Distributed Adaptive Learning Under Communication Constraints

Marco Carpentiero, Vincenzo Matta+1 more|arXiv (Cornell University)|Dec 3, 2021

Cooperative Communication and Network Coding被引用数 5

ひとこと要約

本稿では、通信制約下のネットワークにおける適応的学習のためのACTC（Adapt-Compress-Then-Combine）分散型適応学習アルゴリズムを提案する。エージェントは定常ステップサイズ、確率的圧縮、および拡散戦略を用いる。グローバルな強い凸性（個々のコストが非凸であっても）が成り立つ場合、アルゴリズムはステップサイズに比例するオーダーの平均二乗偏差を達成し、顕著なビット数の削減を伴いながらリアルタイムでの適応が可能になる。

ABSTRACT

This work examines adaptive distributed learning strategies designed to operate under communication constraints. We consider a network of agents that must solve an online optimization problem from continual observation of streaming data. The agents implement a distributed cooperative strategy where each agent is allowed to perform local exchange of information with its neighbors. In order to cope with communication constraints, the exchanged information must be unavoidably compressed. We propose a diffusion strategy nicknamed as ACTC (Adapt-Compress-Then-Combine), which relies on the following steps: i) an adaptation step where each agent performs an individual stochastic-gradient update with constant step-size; ii) a compression step that leverages a recently introduced class of stochastic compression operators; and iii) a combination step where each agent combines the compressed updates received from its neighbors. The distinguishing elements of this work are as follows. First, we focus on adaptive strategies, where constant (as opposed to diminishing) step-sizes are critical to respond in real time to nonstationary variations. Second, we consider the general class of directed graphs and left-stochastic combination policies, which allow us to enhance the interplay between topology and learning. Third, in contrast with related works that assume strong convexity for all individual agents' cost functions, we require strong convexity only at a network level, a condition satisfied even if a single agent has a strongly-convex cost and the remaining agents have non-convex costs. Fourth, we focus on a diffusion (as opposed to consensus) strategy. Under the demanding setting of compressed information, we establish that the ACTC iterates fluctuate around the desired optimizer, achieving remarkable savings in terms of bits exchanged between neighboring agents.

研究の動機と目的

• 通信制約下でも効率的に動作する分散型適応学習戦略を開発すること。特に、ストリーミングで非定常な環境において有効であることを目的とする。
• 時間変動するモデルを追跡するために不可欠な、非減少（定常）ステップサイズを用いたリアルタイム適応を可能にすること。
• 拡散ベースの戦略における圧縮データ交換の下での性能を分析すること。これには、新しいクラスの確率的圧縮演算子を用いる。
• 個々のエージェントにおける強い凸性の仮定を緩和し、ネットワーク全体でのグローバルな強い凸性のみを要件とすることで、大多数のエージェントに非凸コスト関数を許容すること。
• 通信制約下において、拡散戦略がコンSENSUS戦略を上回る学習性能を示すことを示すこと。

提案手法

• ACTCアルゴリズムは各イテレーションで3段階の処理を実行する：(i) 各エージェントが定常ステップサイズを用いた確率的勾配更新により適応を行う。
• 各エージェントが局所的更新に対して確率的圧縮演算子を適用し、通信ビット数を削減しながら統計的精度を保持する。
• エージェントは、隣接エージェントから受信した圧縮更新を、左確率的かつ（可能性として）有向な結合ポリシーを用いて統合する。
• 誤差ダイナミクスをグローバル成分とローカル成分に分解する新しい手法を用い、平均二乗偏差の正確な特徴付けを可能にする。
• 理論的分析では、摂動理論と行列ノルムの境界を用い、グローバルな強い凸性のもとで平均二乗意味での収束を示す。
• このフレームワークは一般の有向ネットワークトポロジーをサポートし、エージェント間で異なった圧縮レベルを許容する。

実験結果

リサーチクエスチョン

• RQ1 通信圧縮と定常ステップサイズを用いる分散型適応学習戦略は、安定性と収束性を維持できるか？
• RQ2 通信制約と圧縮データのもとで、拡散戦略の性能はコンセンサス戦略と比べてどう異なるか？
• RQ3 個々のエージェントに強い凸性を要求するのではなく、グローバルな強い凸性のみを要件とする場合、分散学習アルゴリズムの収束にどのような影響を与えるか？
• RQ4 確率的圧縮演算子の選択が、反復値と真の最適化子との間の平均二乗偏差に与える影響は何か？
• RQ5 分散型適応ネットワークにおける通信コスト（ビットレート）と学習精度の根本的トレードオフは何か？

主な発見

• ACTCアルゴリズムは、グローバル最適化子からの平均二乗偏差が定常ステップサイズに比例するオーダーに達し、非定常環境へのリアルタイム応答性を保証する。
• 唯一のエージェントが強い凸性を持つコスト関数を持つ場合でさえ、アルゴリズムは安定性と収束性を維持する。他のエージェントは非凸コスト関数であってもよい。
• 拡散戦略の使用により、理論的および数値的比較を通じて、コンセンサス戦略を上回る優れた学習性能が得られる。
• 平均二乗偏差は、ステップサイズに比例する項と、圧縮に依存する要因の積で抑えられ、通信コストと精度のトレードオフを明確に定量化する。
• 理論的分析により、誤差が時間とともに指数関数的に減少することが確認され、その減少率はネットワークのスペクトル特性と圧縮の品質によって制御される。
• 数値結果により理論的予測が妥当であることが検証され、ACTCが通信圧縮を伴う最新の確率的勾配法を上回る収束速度と精度を達成することが示された。