[논문 리뷰] Robust Inference for Federated Meta-Learning

Zijian Guo, Xiudi Li외 2명|arXiv (Cornell University)|2023. 01. 02.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 개인 수준의 데이터를 공유하지 않고도 여러 데이터 소스 간의 주로 공통되는 모델에 대한 통계적 추론을 위한 새로운 방법인 강건한 분산 메타학습을 위한 추론(Robust Inference for Federated Meta-Learning, RIFL)을 제안한다. RIFL는 데이터에 적응하는 사이트 선별 메커니즘과 맞춤형 표본 추출 방식을 사용하여 선택 불확실성을 고려한 타당한 신뢰구간을 구성한다. 이는 사이트 선별이 완벽하지 않은 경우에도 유효한 추론을 가능하게 하며, 개인정보 보호 제약 조건과 이질적인 데이터 하에서 강건한 추론을 실현한다.

ABSTRACT

Synthesizing information from multiple data sources is critical to ensure knowledge generalizability. Integrative analysis of multi-source data is challenging due to the heterogeneity across sources and data-sharing constraints due to privacy concerns. In this paper, we consider a general robust inference framework for federated meta-learning of data from multiple sites, enabling statistical inference for the prevailing model, defined as the one matching the majority of the sites. Statistical inference for the prevailing model is challenging since it requires a data-adaptive mechanism to select eligible sites and subsequently account for the selection uncertainty. We propose a novel sampling method to address the additional variation arising from the selection. Our devised CI construction does not require sites to share individual-level data and is shown to be valid without requiring the selection of eligible sites to be error-free. The proposed robust inference for federated meta-learning (RIFL) methodology is broadly applicable and illustrated with three inference problems: aggregation of parametric models, high-dimensional prediction models, and inference for average treatment effects. We use RIFL to perform federated learning of mortality risk for patients hospitalized with COVID-19 using real-world EHR data from 16 healthcare centers representing 275 hospitals across four countries.

연구 동기 및 목표

• 데이터 이질성과 개인정보 보호 제약 조건 하에서도 타당한 통계적 추론을 보장하는 분산 메타학습을 위한 강건한 추론 프레임워크를 개발하기 위해.
• 에러가 없는 사이트 선별이 필요 없이도 주로 공통되는 모델(다수의 사이트에서 공유되는 모델)을 식별할 때 발생하는 선별 불확실성 문제를 해결하기 위해.
• 이상치나 데이터에 적응하는 방식으로 선별된 유효한 사이트 집합이 완벽하지 않은 경우에도 유효한 신뢰구간을 구성할 수 있도록 하기 위해.
• 16개의 국가별 4개국에 걸친 4개국의 의료기관에서 수집한 실세계 EHR 데이터를 활용하여, 코로나19 사망률 예측과 같은 다중 사이트 생물의학 연구 응용을 지원하기 위해.
• 개인정보 보호 환경에서 일반선형 모델, 고차원 예측 모델, 평균 치료 효과 추론으로의 방법론 일반화를 위해.

제안 방법

• 일반화된 다수결 원칙의 일반화를 통해 허용 오차 파rameter κ를 도입하여, 주로 공통되는 모델과 일치하는 사이트를 식별하는 데이터에 적응하는 메커니즘을 제안한다.
• 사이트 선별 과정에서 유발되는 추가적인 변동성을 고려하기 위해 새로운 표본 추출 방법을 도입하여 타당한 추론을 보장한다.
• 개인 수준의 데이터 공유 없이도 선택 불확실성을 조정하는 리샘플링 기반 접근 방식을 사용하여 신뢰구간을 구성한다.
• 데이터 분포에 대한 최소한의 가정 하에 사이트 선별이 완벽하지 않은 경우에도 균일하게 타당한 커버리지가 유지되는 강건한 추론 프레임워크를 구현한다.
• 주로 공통되는 모델 주변의 허용 오차 범위 내에서 사이트 정보를 융합하는 그룹 분포로 불확실성에 강건한 모델링 접근 방식을 적용하여 안정성을 향상시킨다.
• 다수결 원칙의 일반화를 통해 집합 𝒱κ(θ)를 사용하여 주로 공통되는 모델을 다수의 사이트가 일정 비율 이상(예: 80%)을 차지하는 것으로 정의함으로써 실세계 응용에 유연성을 제공한다.

실험 결과

연구 질문

• RQ1 사이트 선별이 데이터에 적응하고 잠재적으로 잘못되었을 때, 분산 메타학습에서 주로 공통되는 모델에 대한 타당한 신뢰구간을 구성할 수 있는가?
• RQ2 개인 수준의 데이터 공유 없이도 사이트 간 데이터 이질성이 존재하는 상황에서 균일하게 타당한 통계적 추론를 확보할 수 있는가?
• RQ3 불완전한 사이트 선별이 추론 타당성에 미치는 영향은 무엇이며, 이를 강건한 표본 추출 메커니즘을 통해 어떻게 보정할 수 있는가?
• RQ4 제안된 방법은 개인정보 보호 환경에서 고차원 모델 및 평균 치료 효과 추정으로 일반화될 수 있는가?
• RQ5 주로 공통되는 집합을 정의하는 데 사용되는 임계값(예: 50% 대비 80%)의 선택이 신뢰구간의 길이와 커버리지에 어떤 영향을 미치는가?

주요 결과

• RIFL의 신뢰구간은 사이트 선별이 불완전한 경우에도 균일하게 타당한 커버리지가 유지되며, 표준 후선별 추론 방법보다 뛰어난 성능을 보였다.
• 다수의 사이트가 이상치로부터 잘 분리되어 있을 경우, RIFL는 완전한 다수 집단을 알고 있다는 오라클 신뢰구간과 유사한 커버리지와 길이를 달성했다.
• 이 방법은 16개의 의료기관에서 수집한 데이터를 바탕으로, 입원한 코로나19 환자에서 혈청 알부민이 14일 이내 사망률의 유의미한 예측 변수임을 성공적으로 규명했다.
• 4개국의 275개 병원에서 수집한 실세계 EHR 데이터에서 RIFL는 다양한 인구 집단 간에 일반화 가능한 결과를 확인함으로써 강건성을 입증했다.
• 80% 기준 확장 버전의 RIFL는 더 강력한 사전 정보를 통합함으로써 다수결 원칙 대비 더 짧은 신뢰구간을 제공하면서도 여전히 타당한 커버리지를 보장한다.
• 실증 평가 결과, 다수결 원칙이 실패할 경우(즉, 총 사이트의 10% 이상을 차지하는 사이트 집합이 존재하지 않을 경우), 리샘플링을 통한 모델 일관성의 힌트적 검증이 여전히 가능함을 확인했다.