[논문 리뷰] Prototype Guided Federated Learning of Visual Feature Representations

Umberto Michieli, Mete Özay|arXiv (Cornell University)|2021. 05. 19.

Privacy-Preserving Technologies in Data참고 문헌 59인용 수 25

한 줄 요약

본 논문은 FedProto를 시각적 특징 표현에 대한 프로토타입 마진 가이드 연합 최적화 방법으로 제시하며, 이질적인 FL 환경에서 분류 및 시맨틱 세분화에 대한 정확도와 수렴성을 개선합니다. 또한 새로운 마진 기반 지표와 엔트로피 분석을 활용하여 특징 표현의 속성을 분석합니다.

ABSTRACT

Federated Learning (FL) is a framework which enables distributed model training using a large corpus of decentralized training data. Existing methods aggregate models disregarding their internal representations, which are crucial for training models in vision tasks. System and statistical heterogeneity (e.g., highly imbalanced and non-i.i.d. data) further harm model training. To this end, we introduce a method, called FedProto, which computes client deviations using margins of prototypical representations learned on distributed data, and applies them to drive federated optimization via an attention mechanism. In addition, we propose three methods to analyse statistical properties of feature representations learned in FL, in order to elucidate the relationship between accuracy, margins and feature discrepancy of FL models. In experimental analyses, FedProto demonstrates state-of-the-art accuracy and convergence rate across image classification and semantic segmentation benchmarks by enabling maximum margin training of FL models. Moreover, FedProto reduces uncertainty of predictions of FL models compared to the baseline. To our knowledge, this is the first work evaluating FL models in dense prediction tasks, such as semantic segmentation.

연구 동기 및 목표

• 모델 가중치뿐만 아니라 내부 표현을 활용하여 비전 분야의 연합 학습을 개선하려는 동기.
• 비동질적(non-i.i.d.) 데이터가 포함된 이질적 FL에서 합집합(aggregation)을 이끌어 내기 위한 프로토타입 기반 주의(attention) 메커니즘을 개발.
• 클라이언트와 라운드에 걸친 프로토타입 표현의 학습 동역학을 도입하고 분석한다.
• 세분화와 같은 FL 과제에서 특징 표현을 연구하기 위한 지표 및 질적 도구를 제공한다.

제안 방법

• 잠재 특징으로부터 각 클라이언트에서 클래스별 프로토타입 표현을 계산한다.
• 프로토타입 변위(displacement)를 측정하기 위해 Local Prototype Margin (LPM)과 Aggregate Prototype Margin (APM)을 정의한다.
• 클래스 내 및 간의 프로토타입 거리 비교를 위한 Semantic PM (SPM)을 도입한다.
• 마진으로부터 시그모이드로 국소 및 집계 주의 가중치를 계산하고, 이 주의에 기반하여 연합 집계를 수행한다.
• 일부 로컬 워크로드를 허용하고 FedAvg 스타일 업데이트 중 로컬 및 집계 편차를 결합하기 위한 새로운 두 절(attention) 메커니즘을 사용한다.
• 프로토타입과 주의를 FL 최적화 루프에 통합하는 알고리즘(FedProto)을 제공한다.

실험 결과

연구 질문

• RQ1 시스템적 및 통계적 이질성 하에서 시각 모델에 대한 연합 최적화를 프로토타입 마진이 향상시킬 수 있는가?
• RQ2 마진 기반 프로토타입 분석이 분류 및 세분화에 대한 FL의 정확도 향상 및 수렴과 상관관계가 있는가?
• RQ3 로컬 및 집계 프로토타입 변화가 라운드와 클라이언트 전반에 걸친 모델 성능에 어떻게 반영되는가?
• RQ4 프로토타입 가이드 주의가 이질적 FL 환경에서 고전적 FedAvg 및 기존 주의 방법보다 우월한가?
• RQ5 연합 비전 모델에서 학습된 특징 표현을 분석할 수 있는 신뢰할 수 있는 지표는 무엇인가?

주요 결과

• FedProto는 여러 데이터세트에서 이미지 분류 벤치마크에서 최첨단 정확도와 수렴 속도를 달성한다.
• FedProto는 분류에서 FedAvg, FedProx, FedAtt를 능가하며 그라디언트 이질성이 더 낮아 수렴이 더 좋음을 나타낸다.
• 프로토타입 마진(LPM 및 APM)과 연합 주의가 잠재 공간의 구성과 규제화를 개선하여 중앙집중식 학습 동작과 일치한다.
• Aggregate Mean Margin (AMM)은 정확도 상승과 상관관계가 있으며, FedProto는 다른 최적화 기법보다 더 큰 AMM을 생성한다.
• Federated Feature Discrepancy (FFD) 분석은 FedProto의 특징이 여러 데이터셋에 걸쳐 FedAvg보다 중앙집중식 학습에 더 가깝게 나타남을 보여준다.
• FedProto는 시맨틱 세분화에서도 평가되며 비-i.i.d. 데이터 분포에 대한 강인성을 보이고 FedAvg에 비해 향상된 세분화 지표(mIoU)를 달성한다.