[논문 리뷰] Architecture Agnostic Federated Learning for Neural Networks

Disha Makhija, Xing Han외 2명|arXiv (Cornell University)|2022. 02. 15.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 FedHeNN을 제안하며, 이는 서로 다른 신경망 아키텍처를 가진 클라이언트가 인스턴스 수준의 표현을 보조 항목과 중심화된 커널 일치(CKA) 거리에 의해 정렬함으로써 개인화된 모델을 공동으로 훈련할 수 있도록 하는 아키텍처에 구애받지 않는 분산 학습 프레임워크이다. 이 방법은 동일한 모델 아키텍처를 요구하지 않으며, 다양한 모델 아키텍처와 데이터 제약 조건 간의 강력한 표현 전이를 가능하게 하여, 특히 이질적인 환경에서 FedAvg와 FedProx보다 뛰어난 성능을 달성한다.

ABSTRACT

With growing concerns regarding data privacy and rapid increase in data volume, Federated Learning(FL) has become an important learning paradigm. However, jointly learning a deep neural network model in a FL setting proves to be a non-trivial task because of the complexities associated with the neural networks, such as varied architectures across clients, permutation invariance of the neurons, and presence of non-linear transformations in each layer. This work introduces a novel Federated Heterogeneous Neural Networks (FedHeNN) framework that allows each client to build a personalised model without enforcing a common architecture across clients. This allows each client to optimize with respect to local data and compute constraints, while still benefiting from the learnings of other (potentially more powerful) clients. The key idea of FedHeNN is to use the instance-level representations obtained from peer clients to guide the simultaneous training on each client. The extensive experimental results demonstrate that the FedHeNN framework is capable of learning better performing models on clients in both the settings of homogeneous and heterogeneous architectures across clients.

연구 동기 및 목표

• 클라이언트가 다양한 컴퓨팅 자원과 데이터 분포를 가진 분산 학습에서의 클라이언트 이질성 문제를 해결하기 위해.
• FedAvg와 FedProx와 같은 기존 분산 학습 방법의 한계를 극복하기 위해, 동일한 모델 아키텍처를 요구하고 통계적 및 시스템 이질성 문제를 애로로 느끼는 점을 해결하기 위해.
• 클라이언트 간에 공통 아키텍처를 강제하지 않고도 개인화된 모델 훈련을 가능하게 하여 각 클라이언트가 로컬 제약 조건에 따라 최적화할 수 있도록 하기 위해.
• 공유된 모델 가중치가 아닌 정렬된 표현을 통한 지식 전이를 통해 모델 성능 향상과 포함성을 높이기 위해.
• 일부 클라이언트가 데이터가 감소하거나 계산 능력이 낮아지는 경우에도 강력한 성능을 유지하는 프레임워크를 개발하기 위해.

제안 방법

• FedHeNN은 클라이언트 최적화 목표에 보조 항목을 도입하여, 서로 다른 클라이언트 간의 최종 레이어 표현을 정렬하도록 유도한다.
• 프레임워크는 표현 간 유사도를 측정하기 위해 커널 기반의 거리 척도인 중심화된 커널 일치(CKA)를 사용한다.
• 각 클라이언트는 깊이, 너비, 활성화 함수가 다른 임의의 아키텍처를 가진 개인화된 신경망을 훈련한다.
• 보조 항목은 서로 다른 아키텍처를 가진 클라이언트 간에 동일한 입력 인스턴스의 표현을 서로 끌어당겨, 아키텍처의 차이에도 불구하고 지식 전이를 가능하게 한다.
• 이 방법은 동일한 모델 아키텍처와 이질적인 모델 아키텍처 모두를 지원하며, CIFAR-10, CIFAR-100, Sentiment140 데이터셋을 대상으로 실험적으로 평가되었다.
• 프레임워크는 일부 클라이언트에서 데이터가 감소하는 경우에도 강건하며, 높은 로컬 에포크 수에서도 성능을 유지한다.

실험 결과

연구 질문

• RQ1 공통 글로벌 모델 아키텍처를 요구하지 않고, 서로 다른 신경망 아키텍처를 가진 클라이언트에 대해 분산 학습을 효과적으로 확장할 수 있는가?
• RQ2 다른 모델 용량과 아키텍처를 가진 클라이언트 간에 개인정보 보호를 유지하면서 지식을 어떻게 전이할 수 있는가?
• RQ3 CKA와 보조 항목을 통한 표현 수준 정렬이 분산 학습에서 가중치 기반 집계 방식보다 일반화 및 성능 향상에 기여하는가?
• RQ4 FedHeNN은 일부 클라이언트에서 데이터가 부족하거나 계산 자원이 제한될 경우 어떻게 성능을 발휘하는가?
• RQ5 RBF 커널과 선형 커널의 차이가 FedHeNN의 CKA 기반 표현 정렬에 어떤 영향을 미치는가?

주요 결과

• FedHeNN은 동일한 모델 아키텍처를 사용하는 환경에서도, 이질적인 환경에서도 FedAvg와 FedProx를 능가하며, 동일한 모델을 사용할 경우 CIFAR-10에서 94.47%의 테스트 정확도를 달성한다.
• 이질적인 환경에서는 클라이언트가 다양한 크기와 아키텍처를 가진 모델을 사용하더라도 강력한 성능을 유지하여 아키텍처의 유연성을 입증한다.
• CKA에서 RBF 커널과 선형 커널을 사용한 결과, 유사한 성능를 보였으며, RBF 커널은 CIFAR-10에서 93.03%의 정확도를, 선형 커널은 94.47%의 정확도를 기록했다.
• FedHeNN은 데이터 감소에 강건하다: 클라이언트 데이터의 50%가 감소할 경우 평균 테스트 정확도가 점진적으로 저하되며, 데이터 부족에 대한 회복력이 뛰어나다.
• FedAvg와 달리, FedHeNN은 높은 로컬 에포크 수(최대 20)에서도 안정된 성능을 유지하며, 이는 보조 항목이 발산을 억제함을 시사한다.
• 계산 능력이 낮은 클라이언트도 효과적으로 참여할 수 있으며, 전통적인 방법에서 이러한 클라이언트를 배제할 경우 성능 저하가 발생하지 않음을 보여준다.