[논문 리뷰] FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal Federated Learning

Huy Quoc Le, Minh N. H. Nguyen외 4명|arXiv (Cornell University)|2023. 07. 25.

Privacy-Preserving Technologies in DataComputer Science인용 수 3

한 줄 요약

FedMEKT는 원시 데이터나 모델 파라미터를 공유하지 않고도 전역 모델 성능을 향상시키기 위해 교육 기반 임bedding 지식 전달을 사용하는 반감독형 다중모달 연합 학습 프레임워크를 제안한다. 프록시 데이터셋에서 유도된 연합 다중모달 임베딩을 교환함으로써 통신 비용을 줄이고 일반화 능력을 향상시키며, 다중모달 인간 활동 인식 벤치마크에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Federated learning (FL) enables a decentralized machine learning paradigm for multiple clients to collaboratively train a generalized global model without sharing their private data. Most existing works simply propose typical FL systems for single-modal data, thus limiting its potential on exploiting valuable multimodal data for future personalized applications. Furthermore, the majority of FL approaches still rely on the labeled data at the client side, which is limited in real-world applications due to the inability of self-annotation from users. In light of these limitations, we propose a novel multimodal FL framework that employs a semi-supervised learning approach to leverage the representations from different modalities. Bringing this concept into a system, we develop a distillation-based multimodal embedding knowledge transfer mechanism, namely FedMEKT, which allows the server and clients to exchange the joint knowledge of their learning models extracted from a small multimodal proxy dataset. Our FedMEKT iteratively updates the generalized global encoders with the joint embedding knowledge from the participating clients. Thereby, to address the modality discrepancy and labeled data constraint in existing FL systems, our proposed FedMEKT comprises local multimodal autoencoder learning, generalized multimodal autoencoder construction, and generalized classifier learning. Through extensive experiments on three multimodal human activity recognition datasets, we demonstrate that FedMEKT achieves superior global encoder performance on linear evaluation and guarantees user privacy for personal data and model parameters while demanding less communication cost than other baselines.

연구 동기 및 목표

• 클라이언트가 센서 또는 다중모달 데이터를 자가 레이블링할 수 없는 경우에 발생하는 레이블이 부족한 다중모달 연합 학습 문제를 해결한다.
• 기존 연합 학습 프레임워크에서 파라미터 집합 과정과 관련된 높은 통신 비용과 기밀 위험을 완화한다.
• 다양한 모달리티에서 유도된 연합 표현을 활용하여 다중모달 후행 작업의 일반화 능력과 성능을 향상시킨다.
• 사용자 기밀을 유지하면서도 원시 데이터나 모델 가중치를 교환하지 않고 클라이언트와 서버 간 효과적인 지식 전달을 가능하게 한다.
• 분산된 다중모달 환경에서 반감독 학습을 지원하는 확장성 있고 효율적인 프레임워크를 개발한다.

제안 방법

• 모델 파라미터 대신 연합 다중모달 임베딩을 교환하는 교육 기반 임베딩 지식 전달(EKT) 메커니즘을 도입한다.
• 비라벨 클라이언트 데이터로부터 모달리티 특화 표현을 학습하기 위해 현지 다중모달 오토인코더를 활용한다.
• 클라이언트로부터의 지식을 활용해 서버에서 일반화된 다중모달 오토인코더를 구축하여 공유 표현을 유지한다.
• 제한된 레이블 데이터를 활용해 후행 작업을 최적화하기 위해 일반화된 분류기 학습 단계를 적용한다.
• 지식 전달을 위한 프록시 데이터셋을 사용해 연합 다중모달 임베딩을 생성함으로써 상류 및 하류 지식 전달을 효과적으로 가능하게 한다.
• 클라이언트 및 서버 양측에 EKD(임베딩 지식 전달 정규화)를 통합하여 국소 표현과 글로벌 표현 간의 정렬을 강화한다.

실험 결과

연구 질문

• RQ1 교육 기반 임베딩 지식 전달이 모델 파라미터나 원시 데이터를 공유하지 않고도 다중모달 연합 학습에서 전역 모델 성능을 향상시킬 수 있는가?
• RQ2 제한된 레이블 데이터를 가진 클라이언트에서 반감독 설정 하에서 제안된 FedMEKT 프레임워크는 어떻게 성능을 발휘하는가?
• RQ3 프록시 데이터셋 크기와 EKT 스텝 수, 로컬 에포크 수와 같은 하이퍼파라미터가 모델 수렴 및 정확도에 어떤 영향을 미치는가?
• RQ4 EKD 정규화가 클라이언트와 서버 간 표현 정렬 및 일반화 능력을 어느 정도 향상시키는가?
• RQ5 기존의 파라미터 기반 및 지식 기반 연합 학습 벤치마크와 비교했을 때 FedMEKT는 통신 효율성과 정확도 면에서 어떻게 성능을 내는가?

주요 결과

• FedMEKT는 세 개의 다중모달 인간 활동 인식 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, RGB 데이터에서 선형 평가 정확도 73.92%, 영상 깊이 데이터에서 68.18%, RGB-깊이 융합 데이터에서 73.70%의 정확도를 기록했다.
• 모델 가중치 교환 대신 지식 전달을 활용함으로써 FedAvg 및 FedProx와 같은 파라미터 기반 벤치마크 대비 통신 비용을 30–50% 감소시켰다.
• 클라이언트나 서버 측에서 EKD 정규화를 제거할 경우 성능 저하가 심각하게 발생한다. 예를 들어, EKD를 로컬에서 제거하면 정확도가 73.92%에서 70.38%로 떨어진다.
• 최적의 성능는 R=2개의 EKT 스텝과 N=2개의 로컬 에포크에서 달성되며, 이는 중간 정도의 반복적 지식 전달이 수렴성과 표현 품질을 향상시킨다는 것을 시사한다.
• 프록시 데이터셋 크기를 전체 데이터의 10%에서 100%로 늘일수록 성능 향상이 관찰되었으며, 특히 데이터가 적은 환경에서 가장 큰 성과를 보였다.
• 모든 데이터셋에서 MM-FedProx 및 MM-MOON을 능가하며, 통계적 이질성과 레이블 부족 조건 하에서도 뛰어난 일반화 능력과 강건성을 입증했다.