[논문 리뷰] FederatedTrust: A Solution for Trustworthy Federated Learning

Pedro Miguel Sánchez Sánchez, Alberto Huertas Celdrán외 4명|arXiv (Cornell University)|2023. 02. 20.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FederatedTrust는 FEMNIST 및 N-BaIoT 데이터셋을 사용한 5개의 실험을 통해 검증된, 6개의 기둥—기밀성, 내공성, 공정성, 설명 가능성, 책임성, 연합성—과 30개 이상의 메트릭을 포함하는 연합 학습(FL)을 위한 종합적인 신뢰성 분류 체계를 제안한다. 이는 FederatedScope에 통합된 알고리즘과 프로토타입을 통해 종합적인 신뢰 점수를 계산하며, 다양한 구성에서 FL 모델의 신뢰성 평가에 유용함을 입증한다.

ABSTRACT

The rapid expansion of the Internet of Things (IoT) and Edge Computing has presented challenges for centralized Machine and Deep Learning (ML/DL) methods due to the presence of distributed data silos that hold sensitive information. To address concerns regarding data privacy, collaborative and privacy-preserving ML/DL techniques like Federated Learning (FL) have emerged. However, ensuring data privacy and performance alone is insufficient since there is a growing need to establish trust in model predictions. Existing literature has proposed various approaches on trustworthy ML/DL (excluding data privacy), identifying robustness, fairness, explainability, and accountability as important pillars. Nevertheless, further research is required to identify trustworthiness pillars and evaluation metrics specifically relevant to FL models, as well as to develop solutions that can compute the trustworthiness level of FL models. This work examines the existing requirements for evaluating trustworthiness in FL and introduces a comprehensive taxonomy consisting of six pillars (privacy, robustness, fairness, explainability, accountability, and federation), along with over 30 metrics for computing the trustworthiness of FL models. Subsequently, an algorithm named FederatedTrust is designed based on the pillars and metrics identified in the taxonomy to compute the trustworthiness score of FL models. A prototype of FederatedTrust is implemented and integrated into the learning process of FederatedScope, a well-established FL framework. Finally, five experiments are conducted using different configurations of FederatedScope to demonstrate the utility of FederatedTrust in computing the trustworthiness of FL models. Three experiments employ the FEMNIST dataset, and two utilize the N-BaIoT dataset considering a real-world IoT security use case.

연구 동기 및 목표

• 실제 환경에서의 구현을 고려할 때 데이터 기밀성 외의 신뢰성 요구 증가에 대응하기 위해.
• 기존의 AI 신뢰 프레임워크를 넘어서, FL에 특화된 신뢰성 기둥과 메트릭을 식별하고 체계화하기 위해.
• 다양한 구성에서 FL 모델의 종합적인 신뢰 점수를 계산할 수 있는 유연하고 확장 가능한 알고리즘—FederatedTrust—을 설계하고 구현하기 위해.
• Differential Privacy 및 클라이언트 선택 전략을 포함한 다양한 구성에서 FederatedScope FL 프레임워크 내 프로토타입을 검증하기 위해.
• 실제 데이터셋을 사용한 실험을 통해 체계적인 신뢰 평가의 실현 가능성과 유용성을 입증하기 위해.

제안 방법

• 기밀성, 내공성, 공정성, 설명 가능성, 책임성, 연합성의 6기둥으로 구성된 신뢰성 있는 FL을 위한 분류 체계를 개발하였으며, 각 기둥에는 구체적인 하位 개념과 메트릭이 포함된다.
• 기밀성, 클라이언트 신뢰도, 선택 공정성, 모델 정확도, 데이터 불균형 지표 등 기둥 전반에 걸쳐 30개 이상의 정량적 메트릭을 정의하였다.
• 가변적인 가중치를 사용하여 개별 메트릭 점수를 집계함으로써 글로벌 신뢰 점수를 계산하는 FederatedTrust 알고리즘을 설계하였다.
• 실시간 학습 중 신뢰성 평가를 지원하기 위해 FederatedScope FL 프레임워크에 통합된 프로토타입으로 알고리즘을 구현하였다.
• 배분된 가중치를 사용한 가중 평균 전략을 적용하여, 구현 환경과 이해관계자 우선순위에 따라 동적으로 구성 가능하도록 설계하였다.
• 클라이언트 수, 선택 비율, 학습 라운드 수, Differential Privacy 파라미터 등 다양한 설정을 가진 5개의 실험을 수행하여 신뢰 점수의 동적 변화를 평가하였다.

실험 결과

연구 질문

• RQ1 연합 학습에서 데이터 기밀성 외의 영역에서 신뢰성은 어떻게 체계적으로 평가할 수 있는가?
• RQ2 FL 모델에 특화된 가장 관련성 있는 신뢰성 기둥과 메트릭은 무엇인가?
• RQ3 통합적이고 구성 가능한 프레임워크는 다양한 구성에서 FL 모델의 종합적인 신뢰 점수를 효과적으로 계산할 수 있는가?
• RQ4 다양한 FL 구성(예: 클라이언트 선택, Differential Privacy)은 계산된 신뢰 수준에 어떻게 影향을 미치는가?
• RQ5 FederatedTrust 알고리즘은 편향, 데이터 불균형, 모델 드프트와 같은 신뢰 관련 문제를 얼마나 잘 탐지하고 반영할 수 있는가?

주요 결과

• FederatedTrust 프로토타입은 다양한 FL 구성에서 신뢰 점수를 성공적으로 계산하여 그 적응성과 구성 가능성의 잠재력을 입증하였다.
• 실험 결과, Differential Privacy와 클라이언트 선택의 공정성이 전체 신뢰 점수에 상당한 영향을 미치며, 모델 설계에서의 상충 관계를 드러냈다.
• 참여자 및 모델의 신뢰를 평가하는 '연합성' 기둥은 시스템 수준의 신뢰성과 협업 역학에 대한 고유한 통찰을 제공하였다.
• 신뢰 점수는 데이터 불균형과 모델 드프트에 민감하게 반응하였으며, 클라이언트 참여 변동성과 모델 정확도 등의 메트릭이 신뢰 수준과 강한 상관관계를 보였다.
• 비독립 동일 분포(non-iid) 데이터로 학습된 모델에서 성능 저하가 발생할 경우, 특히 Differential Privacy와 병행될 경우 알고리즘이 이를 탐지하여 반영함으로써 실제 FL 과제에 대한 민감성을 입증하였다.
• FederatedScope에 통합된 프로토타입은 실시간으로 신뢰성 평가를 가능하게 하여, 실제 운영 환경 유사 환경에서의 실현 가능성을 입증하였다.