[논문 리뷰] Self-supervised Cross-silo Federated Neural Architecture Search

Xinle Liang, Yang Liu외 4명|arXiv (Cornell University)|2021. 01. 28.

Privacy-Preserving Technologies in Data참고 문헌 74인용 수 17

한 줄 요약

이 논문은 수직联邦 학습(VFL) 환경에서 기밀 보장, 자동화된 신경망 아키텍처 탐색을 가능하게 하는 자기지도 학습 기반 교차소(_cross-silo) 연합 신경망 아키텍처 탐색(SS-VFNAS)을 제안한다. 각 참여자는 먼저 국소 데이터에서 자기지도 표현 학습을 수행한 후, 겹치는 샘플만을 사용하여 공유된 고성능 아키텍처를 공동으로 최적화한다. 이로 인해 기존의 연합 NAS 접근 방식에 비해 우수한 성능, 통신 효율성, 기밀 보장성을 확보한다. 특히 샘플 겹침 비율이 낮을 경우 두드러진 성능 향상을 보인다.

ABSTRACT

Federated Learning (FL) provides both model performance and data privacy for machine learning tasks where samples or features are distributed among different parties. In the training process of FL, no party has a global view of data distributions or model architectures of other parties. Thus the manually-designed architectures may not be optimal. In the past, Neural Architecture Search (NAS) has been applied to FL to address this critical issue. However, existing Federated NAS approaches require prohibitive communication and computation effort, as well as the availability of high-quality labels. In this work, we present Self-supervised Vertical Federated Neural Architecture Search (SS-VFNAS) for automating FL where participants hold feature-partitioned data, a common cross-silo scenario called Vertical Federated Learning (VFL). In the proposed framework, each party first conducts NAS using self-supervised approach to find a local optimal architecture with its own data. Then, parties collaboratively improve the local optimal architecture in a VFL framework with supervision. We demonstrate experimentally that our approach has superior performance, communication efficiency and privacy compared to Federated NAS and is capable of generating high-performance and highly-transferable heterogeneous architectures even with insufficient overlapping samples, providing automation for those parties without deep learning expertise.

연구 동기 및 목표

• 특성 분할된 데이터와 기밀 보장이 중요한 수직 연합 학습(VFL) 환경에서 최적의 신경망 아키텍처를 설계하는 데 도전하는 것.
• 협동 아키텍처 탐색 이전에 자기지도 사전학습을 활용하여 연합 NAS의 통신 및 계산 오버헤드를 줄이는 것.
• 전체 데이터나 레이블에 접근할 수 없는 비전문가 참여자가 전이 가능한 고성능 모델을 자동으로 발견할 수 있도록 하는 것.
• 특히 겹치는 샘플이 제한적인 상황에서 VFL의 성능 향상과 기밀 보장성을 향상시키는 것.
• 다양한 데이터 도메인에서 유도된 자기지도 표현이 하류 VFL 아키텍처의 초기화 및 향상에 효과적으로 기여할 수 있음을 보여주는 것.

제안 방법

• 각 참여자는 대조 학습을 사용하여 국소의 레이블이 없는 데이터에서 자기지도 표현 학습을 수행하여 이식 가능한 특징을 학습한다.
• 레이블이나 원본 데이터 공유 없이 자기지도 표현에서 NAS를 사용하여 국소 최적 아키텍처를 탐색한다.
• 10%의 겹치는 샘플만을 사용하여 감독 학습을 수행하면서 수직 연합 학습 환경에서 국소 아키텍처를 공동으로 개선한다.
• 이 프레임워크는 다양한 NAS 알고리즘과의 통합을 지원하며, 통신 효율적이고 기밀 보장된 아키텍처 탐색을 가능하게 한다.
• 학습 중 모델 및 데이터 기밀 보장을 추가로 강화하기 위해 전송된 기울기에 미분적 기밀 보장 기법을 적용한다.
• 본 방법은 다양한 겹침 비율과 기밀 보장 제약 조건 하에서 다중 도메인 의료 영상 데이터셋(FedCheXpert, FedModelNet40)에서 평가된다.

실험 결과

연구 질문

• RQ1 국소의 레이블이 없는 데이터에서 자기지도 사전학습을 수행하면 수직 연합 학습 환경에서 신경망 아키텍처 탐색의 품질이 향상되는가?
• RQ2 기본 연합 NAS 대비 본 논문에서 제안한 SS-VFNAS 방법이 낮은 데이터 겹침 비율(예: 10%)에서 어떻게 성능을 내는가?
• RQ3 다른 도메인(예: MRI 대비 PET)에서 유도된 자기지도 표현이 공동 아키텍처 탐색의 초기화에 얼마나 효과적으로 기여하는가?
• RQ4 미분적 기밀 보장 기법의 통합이 SS-VFNAS의 모델 정확도와 통신 효율성에 어떤 영향을 미치는가?
• RQ5 SS-VFNAS는 데이터 기밀 보장을 유지하면서도 기존 연합 NAS 방법에 비해 더 높은 성능과 이식 가능성을 달성할 수 있는가?

주요 결과

• SS c+c -VFNAS 1과 SS c+m -VFNAS 1은 10% 겹침 샘플에서 100% 겹침 비율일 때보다 더 큰 성능 향상을 보이며, 데이터 부족 상황에서도 본 방법의 강건성을 입증한다.
• FedCheXpert에서 10% 겹침 비율 조건에서 SS c+m -VFNAS 1의 평균 테스트 정확도는 0.742에 도달하여 SS-VFNAS 1(0.733)과 VFNAS 1(0.698)을 모두 앞선다.
• 동일한 미분적 기밀 보장 노이즈 분산 조건에서 SS-VFNAS는 VFNAS보다 유의미하게 높은 정확도를 확보하며, 노이즈 분산 10에 도달할 무렵에야 성능 저하가 기준 수준에 도달한다.
• 사전학습 데이터가 서로 다른 도메인(예: FedCheXpert와 FedModelNet40)에서 유도된 경우에도 높은 성능 유지가 가능하여 자기지도 표현의 강력한 이식 가능성을 보여준다.
• 특히 겹침 비율이 낮은 상황에서 아키텍처 및 가중치 파rameter 교환 필요성이 감소함에 따라 통신 효율성이 향상된다.
• SS-VFNAS에 미분적 기밀 보장을 통합할 경우 기존 VFNAS 대비 모델 유틸리티를 더 잘 유지함을 보여주며, 기밀 보장-효율성 트레이드오프가 향상됨을 시사한다.