[논문 리뷰] Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes

Xinchun Li, Le Gan외 4명|arXiv (Cornell University)|2021. 07. 26.

Privacy-Preserving Technologies in Data참고 문헌 65인용 수 8

한 줄 요약

이 논문은 비-iID 데이터 분포 하에서 DNN 기반 분산 학습에서 모델 프라이버티제이션을 어디에 적용할 것인지 조사하며, 기본층 프라이버티제이션은 레이블 이동 시나리오에서도 성능 향상을 이끌어낸다고 제안한다. 이를 위해 교차 스티치, 소프트 어텐션, 하드 선택과 같은 자동 방법을 도입하여 최적의 프라이버티제이션 전략을 학습하며, 다양한 비-iID 환경에서 더블 브랜치(AaB) 및 공유 분류기(ABb) 설계가 단일 브랜치 접근 방식보다 뛰어난 성능을 보임을 발견한다.

ABSTRACT

Although federated learning (FL) has recently been proposed for efficient distributed training and data privacy protection, it still encounters many obstacles. One of these is the naturally existing statistical heterogeneity among clients, making local data distributions non independently and identically distributed (i.e., non-iid), which poses challenges for model aggregation and personalization. For FL with a deep neural network (DNN), privatizing some layers is a simple yet effective solution for non-iid problems. However, which layers should we privatize to facilitate the learning process? Do different categories of non-iid scenes have preferred privatization ways? Can we automatically learn the most appropriate privatization way during FL? In this paper, we answer these questions via abundant experimental studies on several FL benchmarks. First, we present the detailed statistics of these benchmarks and categorize them into covariate and label shift non-iid scenes. Then, we investigate both coarse-grained and fine-grained network splits and explore whether the preferred privatization ways have any potential relations to the specific category of a non-iid scene. Our findings are exciting, e.g., privatizing the base layers could boost the performances even in label shift non-iid scenes, which are inconsistent with some natural conjectures. We also find that none of these privatization ways could improve the performances on the Shakespeare benchmark, and we guess that Shakespeare may not be a seriously non-iid scene. Finally, we propose several approaches to automatically learn where to aggregate via cross-stitch, soft attention, and hard selection. We advocate the proposed methods could serve as a preliminary try to explore where to privatize for a novel non-iid scene.

연구 동기 및 목표

• 비-iID 데이터 분포 유형(공변량 이동 대 레이블 이동)이 분산 학습에서 프라이버티제이션 전략에 영향을 미치는지 조사하기 위해.
• 거시적 및 미세적 네트워크 분할을 평가하여 모델 집계 및 개인화를 위한 최적의 프라이버티제이션 위치를 규명하기 위해.
• 학습 중에 어디에 프라이버티제이션을 적용할지 자동으로 학습하는 방법을 개발하여 수동 하이퍼파라미터 튜닝을 줄이기 위해.
• 기존 벤치마크인 Shakespeare가 실제로 심각한 비-iID 과제를 대표하는지 평가하기 위해.
• 새로운 비-iID 분산 학습 시나리오에서 프라이버티제이션 전략을 선택하기 위한 체계적인 프레임워크를 제공하기 위해.

제안 방법

• 데이터 분포 통계를 기반으로 네 가지 FL 벤치마크를 공변량 이동 및 레이블 이동 비-iID 시나리오로 분류한다.
• 성능 비교를 위해 거시적(예: AaB, ABb) 및 미세적(계층 수준) 프라이버티제이션 분할을 설계하여 다양한 아키텍처에서 성능를 평가한다.
• 최적의 집계 가중치를 학습하기 위해 세 가지 자동 학습 메커니즘을 제안한다: AutoCS(교차 스티치), AutoSA(소프트 어텐션), AutoHS(하드 선택).
• 완전한 재학습 없이도 최적의 프라이버티제이션 패턴을 효율적으로 탐색하기 위해 공유 아키텍처(AaBb)를 사용한 보간 기법을 활용한다.
• 소프트 어텐션과 Gumbel-softmax 샘플링을 활용하여 학습 중에 미분 가능하고 학습 가능한 프라이버티제이션 라우팅을 가능하게 한다.
• 전역 모델과 개인화 모델을 동시에 학습하며, 학습된 계수를 통해 공유 및 개인화된 구성 요소 간의 동적 균형을 조절한다.

실험 결과

연구 질문

• RQ1 비-iID 분포 유형(공변량 대 레이블 이동)이 DNN 기반 분산 학습에서 프라이버티제이션에 적합한 최적의 계층에 영향을 미치는가?
• RQ2 직관적인 기대와는 반대로, 레이블 이동 비-iID 시나리오에서 초기(기본) 계층을 프라이버티제이션하는 것이 성능 향상에 기여하는가?
• RQ3 Shakespeare를 포함한 다양한 비-iID 벤치마크에서 일관되게 잘 작동하는 프라이버티제이션 전략이 존재하는가?
• RQ4 사전 지식 없이도 어텐션, 하드 선택 등의 자동 학습 메커니즘이 최적의 프라이버티제이션 패턴을 효과적으로 발견할 수 있는가?
• RQ5 제안된 보간 기법을 통해 새로운 비-iID 시나리오에서 최적의 프라이버티제이션 아키텍처를 효율적이고 정확하게 식별할 수 있는가?

주요 결과

• 기본층(예: 초기 합성곱 블록)을 프라이버티제이션하는 것은 레이블 이동 비-iID 시나리오에서도 성능 향상에 크게 기여하며, 프라이버티제이션의 이점이 레이블에 특화된 계층에만 있는 것으로 보는 가정을 도전한다.
• Shakespeare 벤치마크에서는 어떤 프라이버티제이션 전략도 성능 향상을 보이지 않아, 이는 심각한 비-iID 시나리오를 대표하지 못할 수 있음을 시사한다.
• 더블 브랜치 프라이버티제이션(예: AaB)은 모든 벤치마크에서 단일 브랜치 접근 방식을 뛰어넘는 일관된 성능 향상을 보이며, 공유 특징 추출과 개인화된 헤드의 조합이 구조적 이점을 가짐을 나타낸다.
• 제안된 자동 방법(AutoCS, AutoSA, AutoHS)은 최고의 수작업 기반 프라이버티제이션 전략과 비교해 유사한 성능을 달성하여, 최적의 구성 설정을 학습하는 데 효과적임을 입증한다.
• 학습된 아키텍처의 계수(예: 어텐션 가중치)는 공유 구성 요소가 자주 우선시됨을 보여주며, AutoHS와 AutoSA는 대부분의 경우 공유 특징을 선호함을 확인한다.
• AaBb 아키텍처를 사용한 보간 기법은 최적의 프라이버티제이션 패턴을 효율적으로 탐색할 수 있게 하여, 전체 순열 검색 대비 학습 비용을 줄였다.