[論文レビュー] Federated Learning System without Model Sharing through Integration of Dimensional Reduced Data Representations

Anna Bogdanova, Akie Nakai+3 more|arXiv (Cornell University)|Nov 13, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用数 10

ひとこと要約

この論文では、モデル共有を避けるために次元削減されたデータ表現を統合するフェデレーテッドラーニングシステムを提案している。秘密の次元削減関数を用いて、各クライアントは局所データを中間表現（IR）に変換し、それらを共有・統合して統一された低次元データセットを構築する。この手法は、フェデレーテッドアベレージ（Federated Averaging）と同等の精度を達成し、少数ユーザー環境ではそれを上回る性能を示す。

ABSTRACT

Dimensionality Reduction is a commonly used element in a machine learning pipeline that helps to extract important features from high-dimensional data. In this work, we explore an alternative federated learning system that enables integration of dimensionality reduced representations of distributed data prior to a supervised learning task, thus avoiding model sharing among the parties. We compare the performance of this approach on image classification tasks to three alternative frameworks: centralized machine learning, individual machine learning, and Federated Averaging, and analyze potential use cases for a federated learning system without model sharing. Our results show that our approach can achieve similar accuracy as Federated Averaging and performs better than Federated Averaging in a small-user setting.

研究の動機と目的

• セキュリティ、競争上の懸念、規制上の制約などにより、モデル共有が望ましくないフェデレーテッドラーニングにおけるプライバシーと協働の障壁を解消すること。
• モデル共有の代替として、次元削減された表現を通じたデータ統合を可能にする、モデル共有に依存しないフェデレーテッドラーニングのアプローチを検討すること。
• 画像分類タスクにおいて、中央集権学習、個別学習、およびフェデレーテッドアベレージと比較して、このモデル共有なしのアプローチの性能を評価すること。
• 競合企業や準信頼性のある参加者を含む状況において、Data Collaborationフレームワークの実現可能性と利点を評価すること。
• 次元削減が、形式的なプライバシー保証がない分散機械学習において、プライバシー保護メカニズムとして有効である可能性を調査すること。

提案手法

• 各クライアントは、局所データに対して独自の秘密の次元削減関数を適用し、元のデータが再構築できないように中間表現（IR）を生成する。
• IRは中央のアグリゲーターに共有され、共有されたアンカーデータを用いて統合され、単一の統一された低次元データセットが作成される。
• 得られた統合データセットを用いて最終的な教師ありモデルを訓練するが、各クライアントは新しいデータに対する推論のために独自の変換関数を保持する。
• この手法は、秘密の次元削減関数から得られるIRが逆引き不可能であるという仮定に依存しており、これによりデータプライバシーが保護される。
• システムは1回パスで非反復的な動作をとるため、反復的モデルアベレージの通信オーバーヘッドを回避する。
• 標準的な画像分類ベンチマークを用いて、中央集権学習、個別学習、フェデレーテッドアベレージと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデル共有を伴わないフェデレーテッドラーニングシステムは、画像分類タスクにおいてフェデレーテッドアベレージと同等の性能を達成できるか？
• RQ2 中央集権学習および個別学習と比較して、提案されたData Collaboration手法の精度と収束速度における性能はいかがなものか？
• RQ3 特に少数ユーザー環境や競合企業間の協働といった状況では、Data Collaborationアプローチが従来のモデル共有付きフェデレーテッドラーニングを上回るのか？
• RQ4 モデルや生データではなく、次元削減された表現を共有することによるプライバシー上の影響は何か？
• RQ5 共有されたアンカーデータを用いたIR統合は、データ再構築が不可能であることを保証しながら、どのようにデータの有用性を維持するのか？

主な発見

• 提案されたData Collaboration手法は、画像分類ベンチマークにおいて、フェデレーテッドアベレージおよび中央集権学習と同等のテスト精度を達成した。
• 少数ユーザー環境では、この手法は一貫してフェデレーテッドアベレージを上回り、限られたデータ下でもより高いサンプル効率または一般化性能を示す可能性がある。
• より大きなデータセットでは、同等の結果を得るまでのトレーニング時間が短く、収束効率の向上が示された。
• 次元削減された表現の統合により、モデルや生データを共有せずに効果的な協働学習が可能になった。
• 知的財産の懸念からモデル共有が参加を阻害する可能性がある競合企業間の協働に特に適している。
• この手法は、プライバシーに配慮する、あるいは競争的な環境において、モデル共有フェデレーテッドラーニングの実用的代替手段としての有効性を示した。