[논문 리뷰] Federated Learning for Keyword Spotting

David Leroy, Alice Coucke외 3명|arXiv (Cornell University)|2018. 10. 09.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 7

한 줄 요약

이 논문은 Adam을 영감으로 삼은 적응형 평균화 기법을 사용하는 분산 학습 기반 접근법을 제안하여, 탈중앙화된 사용자 생성 음성 데이터에서 경량 웨이크 워드 검출기를 훈련한다. 이로 인해 100회의 통신 라운드 내에 5 FAH에서 95%의 리콜을 달성하였고, 사용자당 업로드 통신량은 8MB에 불과하여 훈련 시간을 크게 단축시키고 개인정보 보호를 유지한다.

ABSTRACT

We propose a practical approach based on federated learning to solve out-of-domain issues with continuously running embedded speech-based models such as wake word detectors. We conduct an extensive empirical study of the federated averaging algorithm for the "Hey Snips" wake word based on a crowdsourced dataset that mimics a federation of wake word users. We empirically demonstrate that using an adaptive averaging strategy inspired from Adam in place of standard weighted model averaging highly reduces the number of communication rounds required to reach our target performance. The associated upstream communication costs per user are estimated at 8 MB, which is a reasonable in the context of smart home voice assistants. Additionally, the dataset used for these experiments is being open sourced with the aim of fostering further transparent research in the application of federated learning to speech data.

연구 동기 및 목표

• 스피커 및 녹음 조건의 변동성으로 인한 임베디드 웨이크 워드 검출기의 도메인 외 성능 문제를 해결하기 위해.
• 원시 음성 데이터를 중앙 집중화하지 않고도 사용자가 소유한 음성 데이터를 기반으로 웨이크 워드 검출기를 훈련시켜 사용자 개인정보 보호를 유지하기 위해.
• 음성 응용 분야의 분산 학습에서 통신 비용과 수렴 시간을 줄이기 위해.
• 비독립(identically distributed, non-iid) 조건 하에서 표준 FedAvg에 비해 적응형 개별 파라미터 평균화(Adam을 영감으로 삼음)의 효과성을 입증하기 위해.

제안 방법

• 저자들은 로컬 모델을 사용자 기기에서 훈련하기 위해 중간 크기의 신경망(200만 파라미터, 20MFLOPS 계산 제약)을 사용하는 분산 평균화 프레임워크를 사용한다.
• 표준 전역 모델 평균화를 대체하여 Adam 최적화기에서 영감을 얻은 적응형 개별 파라미터 평균화 규칙을 도입하며, 각 좌표별 학습률을 사용해 수렴 성능을 향상시킨다.
• 중앙 집중식 파rameter 서버가 매 통신 라운드마다 클라이언트 업데이트를 집계하며, 부하를 줄이기 위해 랜덤으로 선택된 클라이언트(10% 참가율)를 사용한다.
• 로컬 훈련은 고정된 로컬 학습률 0.01을 사용하며, 수렴성과 통신 효율성의 균형을 맞추기 위해 로컬 에포크 수(E)와 배치 크기(B)를 최적화한다.
• 데이터셋은 커뮤니티 기반으로 수집되었으며, 분산 음성 학습 분야의 재현 가능 연구를 지원하기 위해 공개되었다.
• 모델 평가는 개발 및 테스트 세트에서 리콜과 시간당 오류 경고 수(F AH) 등의 지표를 사용해 수행된다.

Fig. 1 : Effect of the share of users involved in each round C on the dev set recall / 5 FAH, FedSGD , Adam global averaging, $\eta_{global}=0.001,\eta_{local}=0.01$

실험 결과

연구 질문

• RQ1 Adam 기반 적응형 평균화가 표준 FedAvg에 비해 분산 키워드 탐지에서 수렴 속도를 향상시키는가?
• RQ2 실제 사용자 참여 조건 하에서 적응형 평균화를 사용할 경우 웨이크 워드 검출기의 분산 훈련에 따른 통신 비용은 얼마인가?
• RQ3 비독립 조건 하에서 다양한 데이터 분포와 사용자 고유의 음성 특성에 따라 모델 성능은 어떻게 변하는가?
• RQ4 이 설정에서 로컬 훈련 깊이(에포크 수 및 배치 크기)를 조절할 경우 수렴성과 통신 효율성에 어떤 영향을 미치는가?
• RQ5 개인정보 보호가 보장되는 분산 학습 접근법이 실제 음성 탐지 작업에서 높은 리콜과 낮은 오류 경고율을 달성할 수 있는가?

주요 결과

• Adam을 영감으로 삼은 적응형 평균화 기법을 사용함으로써, 표준 FedAvg를 사용할 경우 400라운드 이상이 소요되던 5 FAH에서 95% 리콜에 도달하는 데 필요한 통신 라운드 수를 100라운드로 줄였다.
• 최적의 모델은 부정적 테스트 데이터에서 3.2 FAH, Librispeech에서 3.9 FAH, 내부 뉴스 및 TV 데이터셋에서 0.2–0.6 FAH의 오류 경고율을 기록하며 95% 리콜을 달성했다.
• 100라운드 내에 수렴할 경우 사용자당 업로드 통신 비용은 약 8MB로 추정되었고, 400라운드까지 훈련이 진행될 경우 32MB로 증가했다.
• 최적의 설정은 E=1로컬 에포크와 B=20 배치 크기를 사용했으며, 유사한 수렴 성능를 보이는 FedSGD 대비 80%의 속도 향상을 달성했다.
• 학습률 1.0을 사용한 표준 전역 평균화 방식은 400라운드 후에 단지 67.3%의 리콜을 기록한 반면, η_global=0.001로 설정한 적응형 평균화는 98.29%의 리콜을 달성했다.
• 연구 결과, 로컬 훈련 스텝 수 증가가 수렴 속도에 큰 영향을 주지 않았고, 반면 로컬 및 전역 학습률 조정이 성능에 결정적인 영향을 미쳤다.