[論文レビュー] Self-supervised Cross-silo Federated Neural Architecture Search

Xinle Liang, Yang Liu+4 more|arXiv (Cornell University)|Jan 28, 2021

Privacy-Preserving Technologies in Data参考文献 74被引用数 17

ひとこと要約

本稿では、垂直フェデレーテッドラーニング（VFL）環境において、プライバシーを守りながら自動化されたニューラルアーキテクチャサーチを可能にする、自己教師付きクロスシロフェデレーテッドニューラルアーキテクチャサーチ（SS-VFNAS）を提案する。各参加者はまず局所データ上で自己教師付き表現学習を実行し、その後、重複するサンプルのみを用いて共有の高性能アーキテクチャを共同で最適化する。これにより、従来のフェデレーテッドNAS手法と比較して、特にデータ重複率が低い状況下でも、優れた性能、通信効率、プライバシー保護を達成する。

ABSTRACT

Federated Learning (FL) provides both model performance and data privacy for machine learning tasks where samples or features are distributed among different parties. In the training process of FL, no party has a global view of data distributions or model architectures of other parties. Thus the manually-designed architectures may not be optimal. In the past, Neural Architecture Search (NAS) has been applied to FL to address this critical issue. However, existing Federated NAS approaches require prohibitive communication and computation effort, as well as the availability of high-quality labels. In this work, we present Self-supervised Vertical Federated Neural Architecture Search (SS-VFNAS) for automating FL where participants hold feature-partitioned data, a common cross-silo scenario called Vertical Federated Learning (VFL). In the proposed framework, each party first conducts NAS using self-supervised approach to find a local optimal architecture with its own data. Then, parties collaboratively improve the local optimal architecture in a VFL framework with supervision. We demonstrate experimentally that our approach has superior performance, communication efficiency and privacy compared to Federated NAS and is capable of generating high-performance and highly-transferable heterogeneous architectures even with insufficient overlapping samples, providing automation for those parties without deep learning expertise.

研究の動機と目的

• 特徴量が分割されたデータとプライバシーが重要な垂直フェデレーテッドラーニング（VFL）環境において、最適なニューラルアーキテクチャを設計する課題に対処すること。
• 共同アーキテクチャサーチの前段階として自己教師付き事前学習を活用することで、フェデレーテッドNASにおける通信および計算のオーバーヘッドを低減すること。
• グローバルデータやラベルにアクセスできない非専門家参加者に対しても、高パフォーマンスで転送可能なモデルを自動で発見できること。
• 特に重複サンプルが限られる状況下でも、VFLにおけるモデル性能とプライバシー保護を向上させること。
• 多様なデータドメインからの自己教師付き表現が、下流のVFLアーキテクチャの初期化に効果的に機能することを示すこと。

提案手法

• 各参加者は、対照的学習を用いて、ラベルなしの局所データ上で自己教師付き表現学習を実行し、転送可能な特徴を学習する。
• ラベルや生データの共有を必要とせず、自己教師付き表現上でNASを用いて局所最適アーキテクチャを探索する。
• 重複するサンプルの10%のみを用いて、教師あり学習に基づき垂直フェデレーテッドラーニング環境で局所アーキテクチャを共同で最適化する。
• 本フレームワークは、さまざまなNASアルゴリズムとの統合をサポートし、通信効率的でプライバシー保護されたアーキテクチャサーチを実現する。
• トレーニング中におけるモデルおよびデータプライバシー保護を強化するため、送信される勾配に微分プライバシーを適用する。
• 本手法は、重複率やプライバシー制約が変化する状況下で、マルチドメイン医療画像データセット（FedCheXpert、FedModelNet40）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 局所のラベルなしデータ上で自己教師付き事前学習を実行することで、垂直フェデレーテッドラーニングにおけるニューラルアーキテクチャサーチの質が向上するか？
• RQ2 標準的なフェデレーテッドNASと比較して、本手法SS-VFNASは、10%程度のデータ重複率下でどのように性能を発揮するか？
• RQ3 異なるドメイン（例：MRI対PET）からの自己教師付き表現が、共同アーキテクチャサーチの初期化にどの程度効果的に機能するか？
• RQ4 微分プライバシーの統合が、SS-VFNASにおけるモデル精度と通信効率にどのように影響を与えるか？
• RQ5 SS-VFNASは、データプライバシーを守りながら、既存のフェデレーテッドNAS手法よりも優れたパフォーマンスと転送性を達成できるか？

主な発見

• SS c+c -VFNAS 1 と SS c+m -VFNAS 1 は、10%の重複サンプル下で、100%の重複下よりも顕著にSS-VFNAS 1 を上回る性能を示し、本手法のデータ不足に対するロバスト性を裏付けている。
• FedCheXpertにおけるSS c+m -VFNAS 1 の平均テスト精度は10%の重複率下で0.742に達し、SS-VFNAS 1（0.733）およびVFNAS 1（0.698）を上回っている。
• 同じ微分プライバシーのノイズ分散下で、SS-VFNASはVFNASより顕著に高い精度を達成しており、ノイズ分散が10に近づくと性能劣化がベースライン水準にまで回復する。
• 事前学習データが異なるドメイン（例：FedCheXpertとFedModelNet40）からでも、本手法は高いパフォーマンスを維持しており、自己教師付き表現の強力な転送性を示している。
• 特に重複率が低い状況下で、アーキテクチャおよび重みパラメータの交換が必要な回数が減少するため、通信効率が向上している。
• SS-VFNASに微分プライバシーを統合した場合、標準的なVFNASと比較してモデルの有用性がよりよく保たれていることから、プライバシーと効率のトレードオフが改善されていることが示唆される。