[論文レビュー] Federated Dynamic GNN with Secure Aggregation

Meng Jiang, Taeho Jung+2 more|arXiv (Cornell University)|Sep 15, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用数 24

ひとこと要約

本論文では、自己教師ありの軌跡予測を通じて空間的・時間的グラフ構造を活用し、複数ユーザーの動画データからオブジェクト表現を学習するフェデレーテッド・ダイナミック・グラフニューラルネットワーク「Feddy」を提案する。フェデレーテッドラーニングとセキュアアグリゲーションを用いることで、プライバシーを保護したモデル学習を実現し、中央サーバーが侵害されてもモデル更新が機密を保たれる。実世界の監視データセットにおいて優れた性能を達成する。

ABSTRACT

Given video data from multiple personal devices or street cameras, can we exploit the structural and dynamic information to learn dynamic representation of objects for applications such as distributed surveillance, without storing data at a central server that leads to a violation of user privacy? In this work, we introduce Federated Dynamic Graph Neural Network (Feddy), a distributed and secured framework to learn the object representations from multi-user graph sequences: i) It aggregates structural information from nearby objects in the current graph as well as dynamic information from those in the previous graph. It uses a self-supervised loss of predicting the trajectories of objects. ii) It is trained in a federated learning manner. The centrally located server sends the model to user devices. Local models on the respective user devices learn and periodically send their learning to the central server without ever exposing the user's data to server. iii) Studies showed that the aggregated parameters could be inspected though decrypted when broadcast to clients for model synchronizing, after the server performed a weighted average. We design an appropriate aggregation mechanism of secure aggregation primitives that can protect the security and privacy in federated learning with scalability. Experiments on four video camera datasets (in four different scenes) as well as simulation demonstrate that Feddy achieves great effectiveness and security.

研究の動機と目的

• 生のユーザーデータを中央集約せずに、分散型の動画データからダイナミックなオブジェクト表現を学習する課題に対処すること。
• 監視システムにおける複数デバイス間で、スケーラブルかつプライバシー保護型のダイナミックGNNの学習フレームワークを設計すること。
• フェデレーテッドラーニングにおけるセキュアアグリゲーションプリミティブを用いて、モデル更新に対する推論攻撃を防止すること。
• 人間によるアノテーションを不要とする軌跡予測を自己教師あり学習の事前学習目的として用い、自己教師あり表現学習を可能にすること。
• 時系列グラフデータのフェデレーテッドGNN学習において、セキュリティ、スケーラビリティ、計算効率のバランスをとること。

提案手法

• モデルは、各動画フレーム内の空間的関係と、連続するフレーム間の時間的関係を両方集約するダイナミックGNNアーキテクチャを採用する。
• アノテーションなしで意味のあるノード表現を学習するために、将来のオブジェクト位置（5秒後）を予測する自己教師あり損失関数を採用する。
• フェデレーテッドラーニングを用いてモデルを学習する：ローカルモデルはユーザー端末で更新され、中央サーバーに送信されるのは生データではなくモデルパラメータのみである。
• 暗号的プリミティブを用いて、モデル更新にセキュアアグリゲーションを適用し、サーバーが個々の寄与を推測できないようにする。
• セキュアアグリゲーション機構は、鍵生成、モデル更新のランダム値によるマスキング、サーバー側での集約を含み、推論攻撃を防止するように設計されている。
• 通信オーバーヘッドを低減するために、10エポックごとに同期を実施する。これにより、強固なプライバシー保証を維持しつつ、効率的な運用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 分散型動画データ上でフェデレーテッドに効果的に学習可能なダイナミックGNNを、プライバシーを保護しながら訓練できるか？
• RQ2 人間によるアノテーションなしで、動画シーケンス内の空間的・時間的パターンを効果的に自己教師ありで捉える方法は何か？
• RQ3 セキュアアグリゲーションは、フェデレーテッドGNN学習におけるモデル更新に対する推論攻撃をどの程度防止できるか？
• RQ4 セキュアフェデレーテッドGNN学習において、セキュリティ、通信コスト、計算オーバーヘッドのトレードオフはどのようなものか？
• RQ5 本手法フレームワークは、多様な動画データを含む実世界の監視シナリオで、どの程度の性能を示すか？

主な発見

• Feddyは、4つの実世界の動画カメラデータセットで優れた性能を達成し、自己教師ありの軌跡予測によるダイナミックオブジェクト表現の学習が有効であることを示した。
• セキュアアグリゲーションの適用により、中央サーバーが侵害されても個々の学習データを推測できないことが保証され、証明可能なプライバシー保証が得られた。
• セキュアアグリゲーションの通信および計算コストは無視できないが、10エポックに1回しか実行されないため、許容可能な水準にとどまった。
• セキュアアグリゲーションのマスキング段階は、モデル次元数に比例して2乗的に増加するが、実行頻度が低く、処理負荷も管理可能である。
• ユーザー数の増加に対してもスケーラブルである。鍵生成およびアグリゲーションコストは線形に増加し、大規模な展開に対しても実用的である。
• 実験により、モデルが人間のアノテーションなしで、交差点での車両の減速や、交通の混雑する中での自転車の迂回行動といった複雑な空間時間的パターンを効果的に捉えていることが示された。