[논문 리뷰] FL-AGCNS: Federated Learning Framework for Automatic Graph Convolutional Network Search

Chunnan Wang, Bozhou Chen외 2명|arXiv (Cornell University)|2021. 04. 09.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 12

한 줄 요약

FL-AGCNS는 분산 클라이언트 간의 개인정보 보호 및 효율적인 아키텍처 검색을 가능하게 하는, 페더레이티드 러닝을 위한 자동 그래프 컨volution 네트워크 검색을 위한 최초의 페더레이티드 러닝 프레임워크이다. 페더레이티드 진화 최적화와 GCN 슈퍼넷을 결합하여 전역 및 클라이언트별 아키텍처를 동시에 최적화함으로써, 기존의 NAS 방법보다 정확도와 검색 효율성에서 뛰어난 성능을 달성한다.

ABSTRACT

Recently, some Neural Architecture Search (NAS) techniques are proposed for the automatic design of Graph Convolutional Network (GCN) architectures. They bring great convenience to the use of GCN, but could hardly apply to the Federated Learning (FL) scenarios with distributed and private datasets, which limit their applications. Moreover, they need to train many candidate GCN models from scratch, which is inefficient for FL. To address these challenges, we propose FL-AGCNS, an efficient GCN NAS algorithm suitable for FL scenarios. FL-AGCNS designs a federated evolutionary optimization strategy to enable distributed agents to cooperatively design powerful GCN models while keeping personal information on local devices. Besides, it applies the GCN SuperNet and a weight sharing strategy to speed up the evaluation of GCN models. Experimental results show that FL-AGCNS can find better GCN models in short time under the FL framework, surpassing the state-of-the-arts NAS methods and GCN models.

연구 동기 및 목표

• 분산되고 비공개인 그래프 데이터셋을 포함한 페더레이티드 러닝(FL) 환경에서 호환 가능한 신경망 아키텍처 검색(NAS) 기법의 부족을 해결하기 위해.
• 페더레이티드 러닝에서 수많은 GCN 후보를 다시 시작하여 훈련하는 데 따른 높은 통신 및 계산 비용을 해결하기 위해.
• 클라이언트별 데이터 선호도를 존중하면서도 전역 모델 성능을 향상시키는 협업 최적화 전략을 설계하기 위해.
• 재훈련이 필요 없도록 가중치 공유를 통해 구현된 GCN 슈퍼넷을 활용하여 페더레이티드 러닝에서의 검색 효율성을 향상시키기 위해.

제안 방법

• 중앙 제어자와 개별 클라이언트에서 별도의 진화 최적화기를 유지하는 페더레이티드 진화 최적화(FEO) 전략을 제안하여 전역 및 국지적 성능 간 균형을 이룬다.
• 파라미터 공유를 통해 여러 GCN 아키텍처를 다시 훈련하지 않고도 효율적으로 평가할 수 있는 GCN 슈퍼넷을 도입한다.
• 컨트롤러 수준 및 클라이언트 수준의 진화 과정 기여도를 균형 잡기 위해 학습 가능한 초매개변수 γ를 사용하는 하이브리드 최적화 목표를 설정한다.
• 메티스 알고리즘을 사용해 하위그래프 분할을 수행하여, 외부 간선 연결 수가 최소화된 현실적인 FL 클라이언트 데이터 분포를 시뮬레이션한다.
• 사전 정의된 검색 공간에서 아키텍처를 샘플링하기 위해 정책 기반 강화 학습 컨트롤러를 사용하며, 클라이언트별 최적화기는 지역 데이터 기반으로 아키텍처를 개선한다.
• 각 클라이언트가 로컬 모델을 훈련하고 오직 기울기 또는 모델 업데이트만을 공유하는 분산 훈련을 수행하여 데이터 프라이버시를 보존한다.

실험 결과

연구 질문

• RQ1 분산되고 비공개인 그래프 데이터를 포함한 페더레이티드 러닝 환경에서 NAS 프레임워크를 효과적으로 적용할 수 있는가?
• RQ2 페더레이티드 러닝 환경에서 다시 시작하여 훈련하는 것이 비용이 너무 많이 들기 때문에, GCN 아키텍처 검색의 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 중앙 집중식 최적화 외에 클라이언트별 최적화기가 페더레이티드 GCN 모델 성능 향상에 기여하는 역할은 무엇인가?
• RQ4 가중치 공유를 통한 슈퍼넷 통합이 페더레이티드 러닝 환경에서 검색 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ5 하위그래프 분할 전략의 선택이 페더레이티드 NAS 과정의 효과성에 얼마나 큰 영향을 미치는가?

주요 결과

• FL-AGCNS는 Cora 데이터셋에서 82.9%의 FLACC를 달성하여 컨트롤러 수준의 진화 최적화(71.6%)와 클라이언트 수준의 진화 최적화(78.6%)를 크게 능가하며, 이는 이중 최적화기의 필요성을 입증한다.
• 다섯 개의 벤치마크 데이터셋에서 최신 기술(SOTA) NAS 방법 및 기존 GCN 모델을 초월하여, 페더레이티드 환경에서의 효과성을 확인한다.
• FL-AGCNS는 슈퍼넷 기반의 가중치 공유 덕분에 에포크당 검색 시간을 0.0339초로 단축시켜 높은 효율성을 보였다.
• 절단 실험 결과, RandomPartition는 성능이 열등하여 52.6%의 FLACC를 기록함으로써, 외부 간선 연결 수가 적은 구조적 하위그래프의 중요성을 입증한다.
• FL-AGCNS가 발견한 GCN 아키텍처는 기준 모델보다 높은 성능과 더 높은 복잡도를 보이며, 뛰어난 아키텍처 품질을 나타낸다.
• 컨트롤러 수준과 클라이언트 수준의 진화 최적화기가 조합되어 초기 세대에서 빠른 수렴과 더 나은 일반화 성능을 달성한다.