[論文レビュー] Robust Inference for Federated Meta-Learning

Zijian Guo, Xiudi Li+2 more|arXiv (Cornell University)|Jan 2, 2023

Machine Learning in Healthcare被引用数 4

ひとこと要約

本稿では、個々のデータを共有せずに複数のデータソースにまたがる支配的モデルに対する統計的推論を可能にする、プライバシー制約とデータの非同一性に耐性のある新規手法RIFL（Robust Inference for Federated Meta-Learning）を提案する。RIFLは、データに適応したサイト選択メカニズムと特化したサンプリング手法を用い、選択の不確実性を考慮した妥当な信頼区間を構築する。これにより、サイト選択が不完全であっても、プライバシー制約下で頑健な推論が可能になる。

ABSTRACT

Synthesizing information from multiple data sources is critical to ensure knowledge generalizability. Integrative analysis of multi-source data is challenging due to the heterogeneity across sources and data-sharing constraints due to privacy concerns. In this paper, we consider a general robust inference framework for federated meta-learning of data from multiple sites, enabling statistical inference for the prevailing model, defined as the one matching the majority of the sites. Statistical inference for the prevailing model is challenging since it requires a data-adaptive mechanism to select eligible sites and subsequently account for the selection uncertainty. We propose a novel sampling method to address the additional variation arising from the selection. Our devised CI construction does not require sites to share individual-level data and is shown to be valid without requiring the selection of eligible sites to be error-free. The proposed robust inference for federated meta-learning (RIFL) methodology is broadly applicable and illustrated with three inference problems: aggregation of parametric models, high-dimensional prediction models, and inference for average treatment effects. We use RIFL to perform federated learning of mortality risk for patients hospitalized with COVID-19 using real-world EHR data from 16 healthcare centers representing 275 hospitals across four countries.

研究の動機と目的

• データの非同一性とプライバシー制約下でも妥当な統計的推論を保証する、フェデレーテッドメタラーニングのための頑健な推論フレームワークの開発。
• 誤りを伴うサイト選択を前提として、大多数のサイトが共有するモデル（支配的モデル）を特定する際の選択の不確実性に対処すること。
• 選択された適格サイトが不完全であっても、依然として妥当な信頼区間を構築できることを保証すること。
• 16カ国にまたがる4カ国の医療機関から得た実世界のEHRデータを用いて、COVID-19死亡率の予測といった多施設医療研究への実用的応用を支援すること。
• パラメトリックモデル、高次元予測モデル、およびプライバシーを守る設定下での平均処置効果推定への一般化を図ること。

提案手法

• 支配的モデルと整合するサイトを特定するためのデータに適応したメカニズムを提案。これは、許容パラメータκを用いて許容誤差を許容する一般化された過半数ルールの応用である。
• サイト選択プロセスによって生じる追加の変動を補正するための新規サンプリング手法を導入。これにより、妥当な推論が保証される。
• 個々のデータを共有せずに、選択の不確実性を補正するリサンプリングに基づくアプローチを用いて信頼区間を構築。
• データ分布に関する最小限の仮定の下で、サイト選択が不完全であっても、一様に妥当な被覆性を維持する頑健な推論フレームワークを採用。
• 支配的モデルの周囲の許容範囲内に位置するサイトからの情報を統合するグループ分布的ロバストモデリングアプローチを適用し、推定の安定性を向上。
• 集合𝒱κ(θ)による過半数ルールの一般化を用い、支配的モデルを「大多数のサイトが共有するモデル（例：80%以上）」として定義することで、実世界の応用における柔軟性を向上。

実験結果

リサーチクエスチョン

• RQ1 サイト選択がデータに適応的かつ誤りを伴う場合でも、フェデレーテッドメタラーニングにおける支配的モデルの妥当な信頼区間を構築できるか？
• RQ2 個々のデータを共有せずに、施設間のデータ非同一性が存在する状況でも、一様に妥当な統計的推論を保証する方法は何か？
• RQ3 不完全なサイト選択が推論の妥当性に与える影響は何か？ また、それを頑健なサンプリング手法で是正できるか？
• RQ4 提案手法は、高次元モデルやプライバシーを守る設定下での平均処置効果推定へ一般化可能か？
• RQ5 支配的セットを定義する閾値（例：50% 対 80%）の選択が、信頼区間の長さと被覆性に与える影響は何か？

主な発見

• RIFLの信頼区間は、サイト選択が不完全であっても一様に妥当な被覆性を維持し、標準的な選択後推論手法を上回る性能を示した。
• 大多数のサイトが外れ値から明確に分離されている場合、RIFLは、真の多数グループを完全に把握しているオラクル信頼区間と同等の被覆性と区間長を達成した。
• 本手法は、16カ国の医療機関から得たデータを用いて、入院中のCOVID-19患者の14日間死亡率予測において、血清アルブミンが有意な予測因子であることを特定した。
• 275の病院からなる4カ国の実世界のEHRデータにおいてRIFLは頑健性を示し、多様な集団にわたり結果の一般化が可能であることを確認した。
• 80%ルールへの拡張により、より強い事前情報が組み込まれたため、過半数ルールに比べて信頼区間が短くなったが、依然として妥当な被覆性が保証された。
• 実証的評価では、過半数ルールが失敗した場合（すなわち、10%を超えるサイト集合がない場合）でも、リサンプリングを用いてモデルの一貫性に対するヒューリスティックな妥当性を確認できることが示された。