[論文レビュー] FedDAG: Federated DAG Structure Learning

Erdun Gao, Junjia Chen+4 more|arXiv (Cornell University)|Dec 7, 2021

Advanced Graph Neural Networks被引用数 13

ひとこと要約

FedDAG は、非巡回有向グラフ（DAG）構造学習のための勾配ベースの分散型学習フレームワークを提案する。このフレームワークにより、データを共有せずに分散型でプライバシーを保護しながら、異種データからの因果構造の同定が可能になる。2段階のモデルアーキテクチャ（グラフ構造学習と機構近似の分離）を採用し、連続的で微分可能な制約を用いてサイクルを排除することで、データの非同一性に対しても効率的な最適化と高い性能を達成する。中央集権ベースのベースラインを上回る構造的正確性を実現しながらも、データのプライバシーを保持する。

ABSTRACT

To date, most directed acyclic graphs (DAGs) structure learning approaches require data to be stored in a central server. However, due to the consideration of privacy protection, data owners gradually refuse to share their personalized raw data to avoid private information leakage, making this task more troublesome by cutting off the first step. Thus, a puzzle arises: extit{how do we discover the underlying DAG structure from decentralized data?} In this paper, focusing on the additive noise models (ANMs) assumption of data generation, we take the first step in developing a gradient-based learning framework named FedDAG, which can learn the DAG structure without directly touching the local data and also can naturally handle the data heterogeneity. Our method benefits from a two-level structure of each local model. The first level structure learns the edges and directions of the graph and communicates with the server to get the model information from other clients during the learning procedure, while the second level structure approximates the mechanisms among variables and personally updates on its own data to accommodate the data heterogeneity. Moreover, FedDAG formulates the overall learning task as a continuous optimization problem by taking advantage of an equality acyclicity constraint, which can be solved by gradient descent methods to boost the searching efficiency. Extensive experiments on both synthetic and real-world datasets verify the efficacy of the proposed method.

研究の動機と目的

• 原始データを共有できない分散型・プライバシー感受性の高いデータから因果的 DAG 構造を学習する課題に対処すること。
• データプライバシーを保護しながら、潜在的な因果グラフの共同同定を可能にする分散型学習フレームワークを開発すること。
• 加法的ノイズモデル（ANM）の仮定の下で、クライアント間でのメカニズムおよびノイズ分布のシフトに起因するデータ非同一性を扱うこと。
• DAG 構造学習を、等式サイクル除去制約を有する連続的最適化問題として定式化し、勾配ベースの学習を効率的に行えるようにすること。
• FedDAG が原始データを共有せずに、非独立同分布（non-iid）データ分布下でも中央集権ベースラインに近い性能を達成できることを実証すること。

提案手法

• 各クライアントで2段階のモデルを用いる：DAG のエッジと方向を推定するグラフ構造学習（GSL）ヘッドと、ローカルデータを用いて変数間の依存関係をモデル化する機構近似（MA）ヘッド。
• GSL コンponent は、トレースに基づくペナルティ法（例：Tr(sin(πA))) を用いて、サイクル除去制約の連続的リラクゼーションを実装し、最適化中に有効な DAG を保証する微分可能な隣接行列を学習する。
• MA コンponent は、各クライアントのデータ上でローカルに訓練されるニューラルネットワークを用いて構造方程式をモデル化し、データ非同一性に適応する。
• サーバーでは、標準的な FL アグリゲーションに従い、原始データではなくモデルパラメータのみを交換して、クライアントが共同でグローバルモデルを更新する。
• 両コンponent を統合するための共同損失関数を導入し、構造的正確性と機構の忠実度を最適化することで、エンドツーエンドの訓練を可能にする。
• フル共有と部分共有（例：GS-FedDAG におけるグラフのみの平均化）の両方をサポートし、柔軟な通信戦略を可能にする。

実験結果

リサーチクエスチョン

• RQ1 プライバシー制約下で原始データを共有せずに、分散型データから DAG 構造を効果的に学習できるか？
• RQ2 特にメカニズムおよびノイズのシフトを伴うデータ非同一性を、因果構造同一定位を保持したまま、分散型 DAG 学習でどのように扱えるか？
• RQ3 連続的で微分可能なサイクル除去制約の定式化が、分散環境における勾配降下法を用いた効率的かつスケーラブルな DAG 学習を可能にするか？
• RQ4 非 i.i.d. データ分布下でも、FedDAG の性能は中央集権ベースラインと比較してどの程度の構造的正確性を達成するか？
• RQ5 2段階モデルアーキテクチャ（GSL + MA）が、分散型 DAG 学習における一般化性能とデータ非同一性へのロバストネスをどの程度向上させるか？

主な発見

• 合成データセットにおいて、FedDAG は強いデータ非同一性下でも中央集権ベースラインに比べて構造的ハミング距離（SHD）性能が10%以内に収まる。
• 実世界の fMRI および遺伝子調節ネットワークデータセットでは、FedDAG は既存の分散型および非分散型 DAG 学習手法を構造的正確性および分布シフトへのロバストネスの面で上回る。
• 2段階アーキテクチャはデータ非同一性下で顕著な性能向上をもたらし、MA ヘッドがクライント固有の適応を可能にするとともに、GSL ヘッドがグローバルな一貫性を保証する。
• 連続的サイクル除去制約の使用により、離散的探索や緩和ヒューリスティクスを回避した安定的かつ効率的な勾配降下による訓練が可能になる。
• GS-FedDAG における部分的モデル共有（例：グラフのみの平均化）でも高い性能が得られ、構造レベルでの情報共有の有効性が裏付けられる。
• メカニズムおよびノイズ分布がクライアント間で変化しても、FedDAG は高い性能を維持し、ANM 仮定下でのロバストネスが検証された。