[論文レビュー] Byzantine Resilient Distributed Multi-Task Learning

Jiani Li, Waseem Abbas+1 more|arXiv (Cornell University)|Oct 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 4

ひとこと要約

本稿では、蓄積された損失を用いてエージェントのモデル間の類似性を測定する、分散型マルチタスク学習におけるバシルリン耐性オンライン重み調整ルールを提案する。高い損失を持つ隣接エージェントをフィルタリングすることで、任意の数のバシルリン型エージェントが存在しても正常エージェントがグローバル最小値に収束することを保証し、故障エージェントの数に関する事前知識を必要とせず、凸および非凸設定の両方で非協力的学習を上回る性能を達成する。

ABSTRACT

Distributed multi-task learning provides significant advantages in multi-agent networks with heterogeneous data sources where agents aim to learn distinct but correlated models simultaneously.However, distributed algorithms for learning relatedness among tasks are not resilient in the presence of Byzantine agents. In this paper, we present an approach for Byzantine resilient distributed multi-task learning. We propose an efficient online weight assignment rule by measuring the accumulated loss using an agent's data and its neighbors' models. A small accumulated loss indicates a large similarity between the two tasks. In order to ensure the Byzantine resilience of the aggregation at a normal agent, we introduce a step for filtering out larger losses. We analyze the approach for convex models and show that normal agents converge resiliently towards the global minimum.Further, aggregation with the proposed weight assignment rule always results in an improved expected regret than the non-cooperative case. Finally, we demonstrate the approach using three case studies, including regression and classification problems, and show that our method exhibits good empirical performance for non-convex models, such as convolutional neural networks.

研究の動機と目的

• 悪意ある更新を送信するバシルリン型エージェントに対して脆弱な既存の分散型マルチタスク学習手法の問題を解決すること。
• 中央集権的調整なしに、計算効率が良く、オンラインでタスク類似度を推定できる手法を開発すること。
• 故障エージェントの数に上限を設けずに、すべての隣接エージェントがバシルリン型であっても正常エージェントの収束耐性を保証すること。
• 損失に基づく適応的重み付けによる、非協力的学習に対する期待リグレットの改善を実現すること。
• 多様な実世界の事例において、凸および非凸モデル（深層ニューラルネットワークを含む）の両方で有効性を実証すること。

提案手法

• 各エージェントのデータに対する、隣接エージェントのモデルにおける蓄積損失を用いて、エージェント間の類似性を測定する。損失が低いほど類似度が高くなる。
• 損失が自エージェント自身の損失を上回る隣接エージェントを除外するフィルタリングステップを導入し、バシルリン型エージェントの影響を軽減する。
• 正規化された損失値に基づいて隣接エージェントに動的重みを割り当て、悪意ある行動に対しても耐性のある集約を実現する。
• 線形時間計算戦略を用いた重み割り当てにより、大規模な近隣領域および高次元データにもスケーラブルである。
• 損失に基づく重み付けルールを、反復的モデル交換と集約を伴う分散型マルチタスク学習フレームワークに統合する。
• 凸性仮定の下でグローバル最小値への理論的収束を証明し、非協力的学習と比較して期待リグレットが改善されることを示す。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータ間の距離を類似度測定に用いる場合、分散型マルチタスク学習システムはバシルリン型エージェントに対して耐性を保つことができるか？
• RQ2 分散型でスケーラブルかつバシルリン耐性のある形で、オンラインでタスク類似度を推定する方法は何か？
• RQ3 損失に基づく重みを用いた集約は、悪意あるエージェントが存在する状況で非協力的学習と比較して期待リグレットを改善するか？
• RQ4 すべての隣接エージェントがバシルリン型であっても、提案手法はグローバル最小値への収束を保証できるか？
• RQ5 実世界の応用において、畳み込みニューラルネットワークを含む非凸モデルに対して、本手法は実証的にどの程度の性能を示すか？

主な発見

• 提案手法の損失に基づく重み割り当てルールは、すべての事例において平均損失および分類精度の点でベースライン手法および非協力的学習を一貫して上回る。
• 正常エージェントが1体、残りすべてがバシルリン型である極端な状況においても、本手法は非協力的学習と同等の性能を達成し、任意の数のバシルリン型エージェントに対する耐性を実証する。
• すべての隣接エージェントが攻撃的であっても、凸モデル下で正常エージェントがグローバル最小値に耐性を持って収束することを保証する。
• 理論的に証明されたように、提案された重みを用いた集約は、非協力的学習と比較して期待リグレットが厳密に改善される。
• 回帰、人間の行動認識、数字分類の実験から得られた実証結果は、畳み込みニューラルネットワークを含む非凸モデルでも優れた性能を示している。
• フィルタリング機構は、異常な高い損失を持つエージェントを特定・除外することで、悪意ある更新の影響を効果的に抑制し、耐性を高めている。