[論文レビュー] RPN: A Residual Pooling Network for Efficient Federated Learning

Anbu Huang, Yuanyuan Chen+3 more|arXiv (Cornell University)|Jan 23, 2020

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、フェデレーテッドラーニングにおける通信コストを低減するために、選択的かつ近似的にモデルパラメータを圧縮・削除するエンドツーエンドの圧縮戦略として、リーマンプールイングネットワーク（RPN）を提案する。RPNは、画像分類タスクで最大80%のパラメータ送信量削減を達成し、精度は1%の低下にとどめる。また、セマンティックセグメンテーションタスクでは最大44%の削減を実現し、多様なCNNベースのタスクにおいて準最先端の性能を維持する。

ABSTRACT

Federated learning is a distributed machine learning framework which enables different parties to collaboratively train a model while protecting data privacy and security. Due to model complexity, network unreliability and connection in-stability, communication cost has became a major bottleneck for applying federated learning to real-world applications. Current existing strategies are either need to manual setting for hyperparameters, or break up the original process into multiple steps, which make it hard to realize end-to-end implementation. In this paper, we propose a novel compression strategy called Residual Pooling Network (RPN). Our experiments show that RPN not only reduce data transmission effectively, but also achieve almost the same performance as compared to standard federated learning. Our new approach performs as an end-to-end procedure, which should be readily applied to all CNN-based model training scenarios for improvement of communication efficiency, and hence make it easy to deploy in real-world application without much human intervention.

研究の動機と目的

• 頻繁なモデルパラメータの交換に起因するフェデレーテッドラーニングにおける高い通信コストのボトル neck を解消すること。
• 手動によるハイパーパramータチューニングを必要とせず、アップロードおよびダウンロードの両方のトラフィックを削減する汎用的でエンドツーエンドの圧縮戦略を開発すること。
• CNNベースのフェデレーテッドラーニングにおいて、モデルサイズと送信量を顕著に削減しながらも高いモデル性能を維持すること。
• 複雑なマルチステップの圧縮パイプラインを回避することで、実世界のシステムへの実用的展開を可能にすること。

提案手法

• RPNは、重要なモデルパラメータを選択的に保持および近似するリーマンプールイング機構を導入し、各通信ラウンドにおける送信パラメータ数を削減する。
• この手法は、微分可能でエンドツーエンドでトレーニング可能な方法でパラメータ選択と近似を実行し、モデル精度と通信効率の両方を共同最適化可能である。
• RPNはCNNアーキテクチャ内にプラグイン形式の圧縮レイヤーとして適用可能であり、既存のフェデレーテッドラーニングフレームワークへのスムーズな統合を可能にする。
• 暗号化ベースの手法に依存するのではなく、構造的パラメータのプルーニングと近似に焦点を当て、データ量の削減を図る。
• 圧縮は、クライアントからサーバーへのモデルアップロード時およびサーバーからクライアントへのモデルダウンロード時の両方で適用され、合計通信オーバーヘッドを最小限に抑える。
• フレームワークはエンドツーエンドでトレーニングされるため、手動による設定や別々の最適化段階の必要がなくなる。

実験結果

リサーチクエスチョン

• RQ1 モデル性能を損なわせることなく、フェデレーテッドラーニングにおけるアップロードおよびダウンロードの両方の通信コストを削減できる圧縮戦略を設計できるか？
• RQ2 手動によるハイパーパramータチューニングや複雑なマルチステージパイプラインを回避できるエンドツーエンドでトレーニング可能な圧縮メカニズムを開発できるか？
• RQ3 多様なコンピュータビジョンタスクにおいて、高い精度を維持したまま、モデルサイズと通信量をどの程度まで削減できるか？
• RQ4 分類、オブジェクト検出、セマンティックセグメンテーションを含む実世界のフェデレーテッドラーニングシナリオにおいて、提案手法はどの程度の有効性を示すか？

主な発見

• MNIST分類タスクでは、RPNによりモデルパラメータを61,895,776から12,382,560に削減し、送信量を80%削減したが、mAPは0.7077から0.7002にわずか1%低下した。
• YOLOv3を用いたPASCAL VOCにおけるオブジェクト検出では、RPNによりパラメータを80%削減しながらも、元のmAPの98.9%を維持し、複雑なモデルにおいても高い性能保持を示した。
• FCN-ResNet50を用いたセマンティックセグメンテーションでは、パラメータを23,577,621から13,325,281に削減（44%削減）し、mIOUは2.6%低下、ピクセル精度は1.16%低下したが、高い性能を維持した。
• 初期トレーニング段階においても安定した収束を示し、性能の変動が最小限であったため、実世界の展開においても頑健性と信頼性があることが示された。
• RPNは分類、オブジェクト検出、セマンティックセグメンテーションという多様なタスクで一貫した性能を示し、CNNベースのフェデレーテッドラーニングへの汎用性を確認した。