[논문 리뷰] Hybrid Federated Learning: Algorithms and Implementation

Xinwei Zhang, Wotao Yin외 2명|arXiv (Cornell University)|2020. 12. 22.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 9

한 줄 요약

이 논문은 클라이언트가 부분적인 데이터 샘플과 부분적인 특징을 가진 하이브리드联邦학습(HFL)을 위한 최초의 형식적 모델과 알고리즘을 제안한다. HyFEM-Avg와 HyFEM-Prox를 도입하여, 프록시 정규화를 통한 교차 최적화를 통해 글로벌 모델과 로컬 모델을 공동으로 훈련하며, 높은 데이터 이질성과 누락된 데이터 조건에서도 뛰어난 성능을 달성한다. 일부 경우에서는 과적합이 감소하여 중심화된 기준보다도 뛰어난 성능을 보였다.

ABSTRACT

Federated learning (FL) is a recently proposed distributed machine learning paradigm dealing with distributed and private data sets. Based on the data partition pattern, FL is often categorized into horizontal, vertical, and hybrid settings. Despite the fact that many works have been developed for the first two approaches, the hybrid FL setting (which deals with partially overlapped feature space and sample space) remains less explored, though this setting is extremely important in practice. In this paper, we first set up a new model-matching-based problem formulation for hybrid FL, then propose an efficient algorithm that can collaboratively train the global and local models to deal with full and partial featured data. We conduct numerical experiments on the multi-view ModelNet40 data set to validate the performance of the proposed algorithm. To the best of our knowledge, this is the first formulation and algorithm developed for the hybrid FL.

연구 동기 및 목표

• 클라이언트가 겹치는 부분적인 데이터 샘플과 특징을 가지지만 완전한 데이터나 특징이 없는 하이브리드 연합학습을 위한 공식적 프레임워크의 부재를 해결하기 위해.
• 데이터의 국소성 유지 및 서버가 원시 데이터, 특히 레이블에 접근하지 않도록 보장하는 알고리즘 설계를 위해.
• 샘플이나 특징의 동기화 없이도 효과적인 지식 전이를 가능하게 하기 위해.
• 이질적인 데이터와 부분적인 특징 가용성 조건 하에서 글로벌 및 로컬 모델을 공동으로 훈련하는 수렴 가능한 최적화 방법 개발을 위해.

제안 방법

• 각 클라이언트가 부분적인 데이터와 특징에서 로컬 모델을 훈련하는 방식의 모델 매칭 기반 최적화 수식을 제안한다.
• 로컬 모델 업데이트와 평균화를 통한 글로벌 모델 파라미터 집계를 수행하는 교차 최소화 알고리즘인 HyFEM-Avg를 도입한다.
• 글로벌 모델 업데이트에 프록시 항목을 추가하여 수렴성 향상과 글로벌-로컬 성능 균형을 개선하는 변종인 HyFEM-Prox를 개발한다.
• 두 단계 훈련 프로세스를 적용: 클라이언트는 부분 데이터에서 모델을 최적화한 후, 서버는 글로벌 모델을 집계 및 업데이트한다.
• HyFEM-Prox에서 훈련 안정성 향상과 일반화 성능 향상을 위해 프록시 정규화 항목을 활용한다.
• 실험에서 특징 추출을 위해 ResNet-34를, 로컬 추론을 위해 단일 레이어의 MLP를 사용하였다.

실험 결과

연구 질문

• RQ1 완전한 데이터나 특징이 없이 부분적인 데이터 샘플과 부분적인 특징을 가진 클라이언트를 다룰 수 있는 연합학습 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 데이터 프라이버시를 유지하고 통신 비용을 최소화하면서도 하이브리드 FL 환경에서 효과적인 지식 전이를 가능하게 하는 최적화 알고리즘은 무엇인가?
• RQ3 다양한 수준의 데이터 이질성과 누락된 특징 조건에서 글로벌 모델과 로컬 모델의 성능 균형은 어떻게 변화하는가?
• RQ4 누락된 데이터와 부분적인 특징 가용성 조건에도 불구하고 하이브리드 FL 알고리즘이 중심화된 훈련 수준의 성능을 달성할 수 있는가?
• RQ5 프록시 정규화 파라미터가 글로벌 모델과 로컬 모델 정확도 간의 트레이드오프에 미치는 영향은 무엇인가?

주요 결과

• 4개 클라이언트, 4개 뷰 실험에서 HyFEM-Avg와 HyFEM-Prox는 중심화된 훈련보다 높은 테스트 정확도를 달성했으며, 데이터 이질성으로 인한 과적합 감소로 인한 것으로 보인다.
• 고도로 희박하고 이질적인 데이터를 가진 8개 클라이언트, 12개 뷰 실험에서도 HyFEM 모델은 합리적인 성능을 유지했지만, 중심화된 기준보다는 낮았다.
• 프록시 파라미터 μ는 명확한 트레이드오프 효과를 보였다: 낮은 μ(0.1)는 로컬 정확도 향상을 위해 글로벌 정확도를 희생시켰고, 높은 μ(0.5)는 글로벌 정확도 향상을 위해 로컬 성능을 희생시켰다.
• HyFEM-Avg는 HyFEM-Prox보다 메모리 사용량이 적고 기울기 추정이 더 쉬워 통신 효율성이 높고 자원 제약이 있는 클라이언트에게 더 실용적이다.
• 제안된 HyFEM 알고리즘은 데이터 국소성을 효과적으로 유지했으며, 서버가 클라이언트의 어떤 데이터, 레이블도 접근하지 않았다.
• 모델 매칭 수식은 글로벌 및 로컬 모델의 공동 훈련을 가능하게 하여, 어느 클라이언트도 완전한 데이터를 보유하지 않는 하이브리드 FL 환경을 효과적으로 다룰 수 있었다.