[論文レビュー] Towards Federated Bayesian Network Structure Learning with Continuous Optimization

Ignavier Ng, Kun Zhang|arXiv (Cornell University)|Oct 18, 2021

Bayesian Modeling and Causal Inference参考文献 64被引用数 8

ひとこと要約

本稿では、ADMMによる連続最適化を用いたフェデレーテッドベイジアンネットワーク構造学習手法を提案する。水平分割されたデータを持つクライアント間でのプライバシー保護型協働学習を可能にし、モデルパラメータのみを交換することで、合成および実データセットにおいて線形および非線形の両ケースでベースラインを上回る優れた性能を達成する。特に多数の少数クライアント環境下で顕著な性能向上を示す。

ABSTRACT

Traditionally, Bayesian network structure learning is often carried out at a central site, in which all data is gathered. However, in practice, data may be distributed across different parties (e.g., companies, devices) who intend to collectively learn a Bayesian network, but are not willing to disclose information related to their data owing to privacy or security concerns. In this work, we present a federated learning approach to estimate the structure of Bayesian network from data that is horizontally partitioned across different parties. We develop a distributed structure learning method based on continuous optimization, using the alternating direction method of multipliers (ADMM), such that only the model parameters have to be exchanged during the optimization process. We demonstrate the flexibility of our approach by adopting it for both linear and nonlinear cases. Experimental results on synthetic and real datasets show that it achieves an improved performance over the other methods, especially when there is a relatively large number of clients and each has a limited sample size.

研究の動機と目的

• 複数のクライアントに水平分割されたデータからベイジアンネットワーク構造を学習する課題に、データプライバシーを保持しながら対処すること。
• 離散最適化手法の制限を克服し、連続最適化を用いたフェデレーテッド学習をベイジアンネットワーク構造学習に適用すること。
• 線形および非線形の両方のベイジアンネットワークに適用可能な柔軟でプライバシー保護型フレームワークの開発。
• クライアントが限られた個別サンプルサイズを持つ状況において、既存手法を上回る性能を示すこと。

提案手法

• クライアント間で最適化プロセスを分散化するために、交替方向乗数法（ADMM）を用い、モデルパラメータのみを共有することを保証する。
• 非巡回性の代数的特徴付けに基づく連続最適化技術を採用し、微分可能かつスケーラブルな構造学習を実現する。
• NOTEARSフレームワーク（Zheng et al., 2018, 2020）をフェデレーテッド環境に適応し、線形ガウス型および非線形（MLPベース）モデルの両方をサポートする。
• クライアントが局所モデルを反復的に更新し、共有された双対変数およびパラメータを通じて同期する、コンSENSUSに基づく最適化戦略を実装する。
• モジュラで拡張可能な最適化パイプラインを設計することで、水平分割に加え、将来的な垂直分割に対応可能にする。
• 生データの交換を回避し、モデルパラメータの更新のみに依存することで、プライバシー保護型通信を統合する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワーク構造学習に向けた連続最適化手法を、プライバシー制約のあるフェデレーテッド環境に効果的に適応できるか。
• RQ2 クライアントのデータが限られている状況下で、ADMMを用いたフェデレーテッドBNSLの性能は、集中型および非フェデレーテッドベースラインと比べてどの程度優れているか。
• RQ3 少数のサンプルしか持たない多数のクライアントにスケーリングした際、提案手法が安定性と正確性をどの程度維持できるか。
• RQ4 ニューラルネットワークを用いた非線形ベイジアンネットワークに対しても、プライバシーと収束性を保持したまま拡張可能か。
• RQ5 フェデレーテッドBNSLにおけるモデルパラメータの共有がもたらすプライバシー上の影響は何か。また、それらをどのように軽減できるか。

主な発見

• 提案手法であるADMMを用いたフェデレーテッドBNSLは、特にクライアント数が多く、個々のクライアントのサンプルサイズが小さい環境下で、構造的ハミング距離（SHD）の観点からベースラインを上回る。
• 線形ケースでは、すべてのクライアント構成において、集中型ベースライン（NOTEARS-AllData）に近いSHD値を達成し、性能の安定性が顕著に示された。
• MLPを用いた非線形モデルでは、16クライアントの設定下でも、他のベースラインと比較してSHD結果が集中型解に一貫して近づいており、優れた性能を示した。
• クライアント数（K ∈ {2,4,8,16}）の変動に対しても安定した性能を維持しており、クライアントスケーリングに強いことが示された。
• 個々のクライアントが意味のある構造を独立して学習できない低データレジームにおいて、一般化性能が向上した。
• ヒューリスティックな局所モデルの集約とは異なり、連続最適化とパラメータ交換の重要性が結果によって裏付けられた。