[論文レビュー] Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty

Yilun Lin, Chaochao Chen+2 more|arXiv (Cornell University)|Nov 23, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 4

ひとこと要約

本稿では、知識グラフを用いたリレーショナルデータモデリングのための新規フェデレーテッドラーニングフレームワーク、FedAlignを提案する。最適輸送に基づくベーシスアライメントとL-Lipschitz重みペナルティを組み合わせることで、収束性と性能が向上する。ベンチマークデータセットにおいて、FedAVGおよびFedProxを上回り、特にスターベースのグラフにおけるデータ非独立同分布性（non-iid）および過学習の処理において優れた性能を示す。

ABSTRACT

Federated learning (FL) has attracted increasing attention in recent years. As a privacy-preserving collaborative learning paradigm, it enables a broader range of applications, especially for computer vision and natural language processing tasks. However, to date, there is limited research of federated learning on relational data, namely Knowledge Graph (KG). In this work, we present a modified version of the graph neural network algorithm that performs federated modeling over KGs across different participants. Specifically, to tackle the inherent data heterogeneity issue and inefficiency in algorithm convergence, we propose a novel optimization algorithm, named FedAlign, with 1) optimal transportation (OT) for on-client personalization and 2) weight constraint to speed up the convergence. Extensive experiments have been conducted on several widely used datasets. Empirical results show that our proposed method outperforms the state-of-the-art FL methods, such as FedAVG and FedProx, with better convergence.

研究の動機と目的

• フェデレーテッドリレーショナルラーニングにおけるデータ非独立同分布性と収束の遅さという課題に取り組むこと、特に知識グラフに対して。
• FedAVGやFedProxといった既存のFL手法が、非独立同分布かつ非分割可能な分布を示すグラフ構造データに適用された場合に抱える制限を克服すること。
• グラフデータの非分割性およびクライアント間の構造的差異に起因するモデル発散を軽減すること。
• 特にメッシュが疎またはスターベースのグラフ（例：MUTAGやBGS）において、一般化性能を向上させ、過学習を防止すること。
• 機関間で生のグラフデータを共有せずに、プライバシーを守りながら共同学習を可能にすること。

提案手法

• 知識グラフに特化した、RGCNを変更したフェデレーテッドラーニングアルゴリズムであるFedAlignを提案する。
• 最適輸送（OT）距離を用いて、局所モデルとグローバルモデルの隠れ表現（ベーシス）の乖離を測定・アライメントし、発散を低減する。
• モデル重みにL-Lipschitz制約を適用することで、滑らかさを確保し、収束の安定性を向上させる。
• 局所データへの過学習を防ぐため、重みペナルティ正則化を導入し、特にエッジ密度が低いグラフにおいて有効に働く。
• OTに基づくベーシスアライメントによるクライアント側のパーソナライゼーションを組み込んだフェデレーテッド平均化戦略を採用する。
• ベーシスアライメントと重みペナルティを統合的な最適化目的関数に組み合わせることで、モデルの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングを、不完全で非均質な知識グラフを含むリレーショナルデータモデリングに効果的に適用する方法は何か？
• RQ2 フェデレーテッドグラフラーニングにおいて、局所モデルとグローバルモデルの間に顕著な発散が生じる原因は何か？そして、その発散をどのように軽減できるか？
• RQ3 最適輸送に基づくベーシスアライメントは、フェデレーテッドグラフニューラルネットワークにおけるモデルアライメントと収束性を向上させ得るか？
• RQ4 L-Lipschitz重みペナルティは、スパarsなグラフやスターベースのグラフデータセットにおいて、過学習をどれほど軽減し、性能を向上させるか？
• RQ5 リレーショナルデータタスクにおいて、FedAlignはFedAVGおよびFedProxと比較して収束速度と最終的性能の点でどの程度優れているか？

主な発見

• FedAlignは、AIFB、MUTAG、BGSの3つのベンチマークデータセットにおいて、すべての指標でFedAVGおよびFedProxを上回り、収束性と最終的正確性に一貫した改善を示した。
• L-Lipschitz重みペナルティの追加により、MUTAGおよびBGSにおいてモデル性能が1%〜5%向上した。特に、初期の停滞局面からの回復を支援した。
• MUTAGおよびBGSにおいて、FedAlign-L（重みペナルティ付き）は初期の低下後も継続的な改善を示したが、ベースライン手法は停滞した。これは、局所最適解からの脱出に優れていることを示している。
• ベーシスアライメントに最適輸送を用いることで、構造的に非均質なグラフにおいて、局所モデルとグローバルモデルの表現乖離が顕著に低減された。
• 改善は見られたが、完全なグラフ上で中央集権的トレーニングに比べて、フェデレーテッドモデルは依然として性能が劣っている。これは、分散環境における情報損失の持続的課題を示している。
• エッジ密度が低いグラフにおいて、FedAVGおよびFedProxが局所データの不足により一般化性能が著しく劣るために過学習が生じるのを、本手法は効果的に緩和した。