[論文レビュー] HHHFL: Hierarchical Heterogeneous Horizontal Federated Learning for Electroencephalography

Dashan Gao, Ce Ju+4 more|arXiv (Cornell University)|Sep 11, 2019

EEG and Brain-Computer Interfaces参考文献 16被引用数 64

ひとこと要約

本論文は、階層的な異種横方向フェデレーテッド学習フレームワークであるHHHFLを提案します。これは、manifold projectionsとMMDベースのドメイン損失を用いて異種のEEGデバイスデータを共通の埋め込み空間に揃え、プライバシーを保護したクロスデバイスのEEG分類を実現します。

ABSTRACT

Electroencephalography (EEG) classification techniques have been widely studied for human behavior and emotion recognition tasks. But it is still a challenging issue since the data may vary from subject to subject, may change over time for the same subject, and maybe heterogeneous. Recent years, increasing privacy-preserving demands poses new challenges to this task. The data heterogeneity, as well as the privacy constraint of the EEG data, is not concerned in previous studies. To fill this gap, in this paper, we propose a heterogeneous federated learning approach to train machine learning models over heterogeneous EEG data, while preserving the data privacy of each party. To verify the effectiveness of our approach, we conduct experiments on a real-world EEG dataset, consisting of heterogeneous data collected from diverse devices. Our approach achieves consistent performance improvement on every task.

研究の動機と目的

• プライバシー制約の下でデバイス不均一データを用いたEEG分類の課題を動機づける。
• 異種EEG信号を揃える階層的な異種水平フェデレーテッド学習フレームワークを提案する。
• 生データを露出させずに共通学習を可能にする多様体射影とドメイン整合戦略を開発する。
• 実世界の異種EEGデータで局所ベースラインより改善を実証する。

提案手法

• 異種EEG埋め込みを共通の埋め込み空間に写像するデバイス固有の多様体射影を構築する。
• 分類損失と最大平均差異に基づくドメイン損失を組み合わせ、デバイス間の分布差を最小化する。
• ジョイント損失L = L_C + sum_{i<j} lambda_{i,j} MMD^2(Q_i, Q_j)を最適化して表現を整合させる。
• rawデータを共有せずに特徴マッピングとEEG分類器を更新するためのサーバーアグリゲータを用いた水平フェデレーテッド学習を適用する。
• 同一デバイスのクライアント間で mappings を、全デバイス間で分類器を集約することで Federated Averaging を適用する。
• MindBigData上の異種デバイスで評価し、局所ベースラインより性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なるデバイスからの異種EEGデータを共通の埋め込み空間に効果的に揃えて共同学習できるか。
• RQ2 階層的な異種水平FLはデバイス特有のモデルや単純な集合よりEEG分類性能を向上させるか。
• RQ3 多様体射影とMMDベースのドメイン損失はデバイス間の分布シフトを緩和するのにどれだけ有効か。
• RQ4 提案するHHHFLフレームワークのプライバシー保護特性と学習ダイナミクスはどうか。

主な発見

• HHHFLは個別デバイスデータで学習した局所ベースラインモデルよりも優れている。
• 2つまたは3つのデバイスデータセットを用いた訓練は精度の向上と収束の速さをもたらす。
• 追加デバイスからのより多くのデータはさらなる精度向上をもたらす可能性があり、MindBigDataでの実験で観察された。
• 同一デバイスタイプのクライアントは異種データを共通の埋め込み空間に写す特徴マッピングを共同で訓練する。