[논문 리뷰] An Efficient Industrial Federated Learning Framework for AIoT: A Face Recognition Application

Youlong Ding, Xueyang Wu외 6명|arXiv (Cornell University)|2022. 06. 21.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 AIoT를 위한 효율적인 산업용 피어드 학습 프레임워크를 제안하며, 전이 학습과 비공개 프로젝터를 활용해 학습을 가속화하고 프라이버시를 강화한다. 최소한의 계산 및 메모리 오버헤드로 인해 자원이 제한된 장치에 적합하며, 단지 20회의 통신 라운드 만으로도 높은 얼굴 인식 정확도(1e-4에서 FAR 63.51%)를 달성한다.

ABSTRACT

Recently, the artificial intelligence of things (AIoT) has been gaining increasing attention, with an intriguing vision of providing highly intelligent services through the network connection of things, leading to an advanced AI-driven ecology. However, recent regulatory restrictions on data privacy preclude uploading sensitive local data to data centers and utilizing them in a centralized approach. Directly applying federated learning algorithms in this scenario could hardly meet the industrial requirements of both efficiency and accuracy. Therefore, we propose an efficient industrial federated learning framework for AIoT in terms of a face recognition application. Specifically, we propose to utilize the concept of transfer learning to speed up federated training on devices and further present a novel design of a private projector that helps protect shared gradients without incurring additional memory consumption or computational cost. Empirical studies on a private Asian face dataset show that our approach can achieve high recognition accuracy in only 20 communication rounds, demonstrating its effectiveness in prediction and its efficiency in training.

연구 동기 및 목표

• 자원이 제한된 AIoT 기기에서 정확하고 프라이버시를 보장하는 AI 모델을 훈련하는 데 도전하는 데 목적이 있다.
• 산업용 AIoT 응용 분야의 피어드 학습에서 통신 라운드 수와 계산 부담을 줄이는 데 목적이 있다.
• 추가 메모리나 계산 비용 없이 모델 기울기의 프라이버시 공격으로부터 보호하는 데 목적이 있다.
• 중앙집중식 훈련에 비해 성능 저하가 최소한이 되도록 효과적인 피어드 미세조정을 가능하게 하는 데 목적이 있다.
• 실제 세계의 비공개 아시아인 얼굴 데이터셋을 통해 가용성과 효율성을 입증하는 데 목적이 있다.

제안 방법

• 공개 데이터셋에서 얼굴 표현 모델을 사전 훈련하고, 이를 글로벌 모델 초기화로 사용하여 클라이언트 측 훈련 부담을 줄인다.
• 새로운 로컬 프로젝터를 도입하여 공유 기울기를 가림으로써 전체 전방 전파 공격을 방지하며, 추가 메모리나 계산 비용 없이도 이를 구현한다.
• 전이 학습을 적용해 글로벌 모델을 로컬 AIoT 기기 데이터로 미세조정함으로써 수렴 시간을 단축시킨다.
• 워밍업 미세조정과 배치 정규화 동결을 구현하여 훈련 안정성 향상과 성능 향상을 도모한다.
• 서버가 FedAvg를 통해 모델 업데이트를 집계하는 클라이언트-서버 아키텍처를 사용하여 통신 라운드 수를 최소화한다.
• 모델 크기와 계산 비용을 최적화하여 일반적인 AIoT 기기의 片상 SRAM에 맞추어 구현한다.

실험 결과

연구 질문

• RQ1 전이 학습은 AIoT 기기에서 피어드 얼굴 인식을 위한 통신 라운드 수를 상당히 줄일 수 있는가?
• RQ2 비공개 프로젝터는 메모리나 계산 비용 증가 없이 공유 기울기를 복원 공격으로부터 효과적으로 보호할 수 있는가?
• RQ3 제안된 프레임워크는 중앙집중식 훈련과 표준 피어드 학습 기준선에 비해 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ4 학습률 워밍업과 배치 정규화 동결과 같은 하이퍼파라미터가 성능 안정성에 어떤 역할을 하는가?
• RQ5 이 프레임워크는 자원이 제한된 실세계 산업용 AIoT 기기에서 얼마나 널리 배포 가능한가?

주요 결과

• 제안된 프레임워크는 비공개 아시아인 얼굴 데이터셋에서 1e-3에서 FAR 72.83%, 1e-4에서 FAR 63.51%를 달성하여 중앙집중식 훈련에 비해 유용성 손실가 최소화된 높은 인식 정확도를 보였다.
• 높은 성능에 도달하기 위해 단지 20회의 통신 라운드만 필요하며, 이는 훈련 시간과 대역폭 사용을 크게 줄였다.
• 비공개 프로젝터는 기울기 역전환 공격에 효과적으로 저항하며, 정확도 결과에서 회수된 이미지가 조건부로 노이즈가 많고 심지어 기준 프로젝터 초기화 조건에서도 구분 불가능한 수준임을 입증했다.
• 모델은 오직 120만 파라미터와 35MB의 메모리만을 사용하여 외부 DRAM이 아닌 片상 SRAM에 배포 가능해 효율성을 향상시켰다.
• 이론적 FLOPs와 MAdd는 각각 반복당 0.5G 이하로, 엣지 기기에서 적합한 낮은 계산 비용을 확인했다.
• 절단 분석 결과, 사전 훈련과 동결된 배치 정규화가 필수적임을 입증하였으며, 이들을 생략할 경우 성능은 무작위 수준(0.00% 정확도)으로 급격히 떨어졌다.