[논문 리뷰] Federated Learning with Heterogeneous Architectures using Graph HyperNetworks

Or Litany, Haggai Maron외 4명|arXiv (Cornell University)|2022. 01. 20.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 구조적 그래프에서 모델 가중치를 생성하기 위해 그래프 하이퍼넷워크(GHN)를 사용함으로써 이질적인 신경망 아키텍처를 가진 클라이언트 간의 지식 공유를 가능하게 하는 연합 학습 프레임워크 HAFL-GHN을 제안한다. 이 방법은 CIFAR-10 및 CIFAR-100에서 뛰어난 성능을 달성하며, 예측되지 않은 아키텍처로의 일반화가 잘 되어 있고, 통신 빈도가 감소하더라도 높은 정확도를 유지한다.

ABSTRACT

Standard Federated Learning (FL) techniques are limited to clients with identical network architectures. This restricts potential use-cases like cross-platform training or inter-organizational collaboration when both data privacy and architectural proprietary are required. We propose a new FL framework that accommodates heterogeneous client architecture by adopting a graph hypernetwork for parameter sharing. A property of the graph hyper network is that it can adapt to various computational graphs, thereby allowing meaningful parameter sharing across models. Unlike existing solutions, our framework does not limit the clients to share the same architecture type, makes no use of external data and does not require clients to disclose their model architecture. Compared with distillation-based and non-graph hypernetwork baselines, our method performs notably better on standard benchmarks. We additionally show encouraging generalization performance to unseen architectures.

연구 동기 및 목표

• 동일한 클라이언트 아키텍처를 요구하는 표준 연합 학습의 한계를 해결하여 플랫폼 간 및 기관 간 협업을 가능하게 하기.
• 클라이언트가 모델 구조를 공개하거나 외부 데이터를 사용하지 않더라도 이질적인 아키텍처에서 연합 학습을 가능하게 하기.
• 임의의 네트워크 구조와 레이어 조합에 적응할 수 있는 파라미터 공유 메커니즘 개발하기.
• 학습 가능한, 아키텍처 인식 하이퍼넷워크를 통해 다양한 아키텍처 간 효과적인 지식 집합 달성하기.
• 예측되지 않은 아키텍처로의 일반화 및 낮은 통신 빈도 하에서의 내성성 입증하기.

제안 방법

• 각 클라이언트의 신경망을 계산 그래프로 표현하며, 노드는 레이어(파arametric 및 non-parametric)를 나타내고, 간선은 흐름 연결을 나타낸다.
• 구조적 그래프 입력에 기반해 모델 가중치를 생성하기 위해 그래프 하이퍼넷워크(GHN)를 사용하여 아키텍처에 종속되지 않는 가중치 생성을 가능하게 한다.
• 각 클라이언트에서 자체 GHN을 로컬로 훈련하고, 서버에서는 오직 GHN 가중치만을 집계한다.
• GNN 내 메시지 전달을 활용해 레이어의 위치와 구조적 맥락을 인코딩하여, 서로 다른 아키텍처 내 유사 레이어가 의미 있는 방식으로 인코딩되도록 한다.
• FedAvg를 통해 클라이언트 간 GHN 가중치를 집계하여 글로벌 GHN이 공유되고 일반화된 가중치 생성 정책을 학습하도록 한다.
• 훈련된 GHN을 사용해 새로운, 예측되지 않은 아키텍처를 초기화하고 로컬 데이터에서 미세조정함으로써 빠른 수렴과 뛰어난 성능 달성하기.

실험 결과

연구 질문

• RQ1 기본적으로 다른 신경망 아키텍처를 가진 클라이언트 간에 연합 학습이 효과적으로 지식을 집계할 수 있는가?
• RQ2 하이퍼넷워크 기반 접근법이 클라이언트가 모델 아키텍처를 공개하지 않아도 파라미터 공유를 가능하게 하는가?
• RQ3 그래프 표현을 통한 아키텍처 구조 인코딩이 이질적인 연합 학습에서 성능 향상과 일반화를 향상시키는가?
• RQ4 통신 빈도가 제안된 HAFL-GHN 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 훈련된 GHN이 최소한의 미세조정으로도 새로운, 이전에 보지 못한 아키텍처로 일반화 가능한가?

주요 결과

• HAFL-GHN는 이질적인 아키텍처를 가진 CIFAR-10 및 CIFAR-100 벤치마크에서 최신 기술 수준의 성능을 달성하며, 디스틸리케이션 기반 및 비-그래프 하이퍼넷워크 베이스라인을 모두 능가한다.
• 메서드는 예측되지 않은 아키텍처로 효과적으로 일반화된다: HAFL-GHN 가중치로 초기화된 4층 CNN은 빠르게 수렴하고 연합 학습된 모델과 유사한 성능에 도달한다.
• 표준 통신 빈도의 1/5로도 HAFL-GHN의 정확도가 1% 미만으로 떨어지며, 통신 빈도 감소에 대한 내성성을 입증한다.
• GNN 내 메시지 전달을 통한 그래프 구조 인코딩이 구조적 맥락 없이 동일한 레이어 유형을 평균화하는 베이스라인 대비 7–10%의 성능 향상을 이룬다.
• 네 개의 주요 아키텍처 중 하나를 더 작은 4층 CNN으로 교체했을 때 평균 성능 저하율은 2.2±1.4%에 그쳤으며, 이는 완전히 새로 훈련하는 것보다 훨씬 뛰어난 성능을 보였다.
• 깊이와 레이어 조합이 다른 다양한 아키텍처 간에도 강력한 성능 유지를 유지함으로써, 이 메서드의 아키텍처 유연성과 확장성 확인됨.