[논문 리뷰] IFedAvg: Interpretable Data-Interoperability for Federated Learning

David Roschewitz, Mary‐Anne Hartley외 2명|arXiv (Cornell University)|2021. 07. 14.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 5

한 줄 요약

iFedAvg는 원시 데이터를 공유하지 않고도 로컬 데이터 분포 이탈을 탐지하고 보정하기 위해 클라이언트별 해석 가능한 애핀 변환을 도입함으로써 표본 데이터셋에 대한 데이터 상호운용성을 향상시키는 혁신적인 피어드 학습 프레임워크를 제안한다. 이는 미미한 오버헤드로 경쟁적인 성능을 달성하며, 이상치 클라이언트에 대해 훨씬 높은 강건성을 확보함으로써 피어드 참여자 간의 데이터 불일치를 특성 수준에서 세밀하게 해석할 수 있도록 한다.

ABSTRACT

Recently, the ever-growing demand for privacy-oriented machine learning has motivated researchers to develop federated and decentralized learning techniques, allowing individual clients to train models collaboratively without disclosing their private datasets. However, widespread adoption has been limited in domains relying on high levels of user trust, where assessment of data compatibility is essential. In this work, we define and address low interoperability induced by underlying client data inconsistencies in federated learning for tabular data. The proposed method, iFedAvg, builds on federated averaging adding local element-wise affine layers to allow for a personalized and granular understanding of the collaborative learning process. Thus, enabling the detection of outlier datasets in the federation and also learning the compensation for local data distribution shifts without sharing any original data. We evaluate iFedAvg using several public benchmarks and a previously unstudied collection of real-world datasets from the 2014 - 2016 West African Ebola epidemic, jointly forming the largest such dataset in the world. In all evaluations, iFedAvg achieves competitive average performance with negligible overhead. It additionally shows substantial improvement on outlier clients, highlighting increased robustness to individual dataset shifts. Most importantly, our method provides valuable client-specific insights at a fine-grained level to guide interoperable federated learning.

연구 동기 및 목표

• 표본 데이터셋에서 이질적인 클라이언트 데이터 분포로 인한 피어드 학습의 낮은 상호운용성 문제를 해결하기 위해.
• 원래 데이터를 공유하지 않고도 이상치 데이터셋을 탐지하고 로컬 데이터 분포 이탈을 보완하기 위해.
• 신뢰도 향상과 협업을 위한 특성 수준에서의 데이터 호환성에 대한 클라이언트별 해석 가능한 통찰을 제공하기 위해.
• 2014–2016년 서아프리카 에볼라 유행 기간 동안의 실제 고위험 의료 데이터와 공개 벤치마크에서 방법을 평가하기 위해.
• 개인화된 해석 가능한 데이터 변환을 통해 모델의 강건성과 피어드 투명성을 향상시키며, 계산 비용을 최소한도로 유지할 수 있는지 입증하기 위해.

제안 방법

• FedAvg를 확장하여 각 클라이언트별로 로컬에서 학습 가능한 원소별 애핀 레이어(스케일링 및 시프트)를 도입하여 클라이언트별 데이터 변환을 모델링한다.
• 이러한 애핀 레이어는 피어드 평균화 과정 동안 종단 간 엔드로 훈련되어 로컬 데이터 분포 이탈을 보완하는 개인화된 정규화를 가능하게 한다.
• 원시 데이터를 절대 교환하지 않으며, 모델 기울기와 집계된 업데이트만을 기반으로 하여 프라이버시를 유지한다.
• 특성 수준에서 클라이언트별로 학습된 애핀 가중치를 시각화함으로써, 동료 클라이언트 대비 데이터 이탈의 방향성과 크기를 해석 가능하게 한다.
• 프레임워크는 호환되지 않는 클라이언트를 탐지하고, 훈련 중에 그들의 데이터 이탈을 자동으로 보정하는 데 지원한다.
• 이 방법은 계산적으로 경량이며, 표준 FedAvg에 비해 거의 미미한 오버헤드만을 추가한다.

실험 결과

연구 질문

• RQ1 표본 데이터에서 원시 데이터를 공유하지 않고도 클라이언트별 데이터 분포 이탈을 탐지하고 보정할 수 있는 피어드 학습 프레임워크가 가능한가?
• RQ2 특성 수준에서 데이터 상호운용성의 해석 가능성을 어떻게 향상시켜 피어드 학습에서 신뢰도와 협업을 지원할 수 있는가?
• RQ3 iFedAvg는 FedAvg에 비해 상당한 데이터 이탈이 있는 이상치 클라이언트에서 성능을 얼마나 향상시키는가?
• RQ4 이 방법은 본질적으로 이질적인 특성을 지닌 실제 고위험 의료 데이터셋에 효과적으로 적용될 수 있는가?
• RQ5 해석 가능한 개인화된 변환을 추가함으로써 경쟁적인 성능를 유지하면서도 강건성을 향상시킬 수 있는가?

주요 결과

• iFedAvg는 원시 데이터를 공유하지 않고도 공개 벤치마크와 대규모 서아프리카 에볼라 유행 데이터셋을 포함한 모든 벤치마크에서 경쟁적인 평균 성능를 달성하며, 계산 오버헤드가 거의 없다.
• 중대한 데이터 분포 이탈이 있는 클라이언트에서는 iFedAvg가 FedAvg 및 중심화된 학습에 비해 성능 향상이 뚜렷하게 나타나 강건성이 향상됨을 입증했다.
• 이 방법은 특성 수준에서의 데이터 이탈을 성공적으로 탐지하고 보정하며, 시각화를 통해 '소아과'와 'geriatric' 설정에서 '나이'와 같은 특정 특성이 클라이언트의 이상치 상태에 기여하는지 명확히 드러냈다.
• 학습된 애핀 변환은 이탈의 방향성과 크기를 드러내어 전문가가 데이터 호환성과 협업 가능성에 대해 투명하게 평가할 수 있도록 한다.
• 이 프레임워크는 여러 국가의 15개 이상의 에볼라 치료 센터에서 유래한 실제 세계의 이질성 있는 데이터를 효과적으로 처리하여, 복잡하고 프라이버시가 민감한 환경에서의 유용성을 검증했다.
• 이 방법의 해석 가능성은 클라이언트 참여 및 데이터 품질에 대한 정보 기반 의사결정을 지원하여, 편향되거나 호환되지 않는 데이터로 인한 모델 성능 저하 위험을 줄인다.