[논문 리뷰] Federated Transfer Learning with Dynamic Gradient Aggregation

Dimitrios Dimitriadis, Kenichi Kumatani외 3명|arXiv (Cornell University)|2020. 08. 06.

Speech Recognition and Synthesis참고 문헌 30인용 수 8

한 줄 요약

이 논문은 음성 인식을 위한 연합 전이 학습(FTL) 플랫폼을 제안하며, 계층적 최적화 기법과 데이터 품질 기반으로 가중치를 부여하는 동적 그래디언트 집계(DGA) 알고리즘을 도입한다. 이 방법은 수렴 속도를 최대 7배로 향상시키고, LibriSpeech에서 WER을 6% 감소시키며 세션 적응 작업에서는 20% 감소시킨다. 데이터 기반 정규화를 통해 그래디언트 업데이트의 안정성을 높여, 중심화된 학습 및 기준 FL 방법보다 우수한 성능을 달성한다.

ABSTRACT

In this paper, a Federated Learning (FL) simulation platform is introduced. The target scenario is Acoustic Model training based on this platform. To our knowledge, this is the first attempt to apply FL techniques to Speech Recognition tasks due to the inherent complexity. The proposed FL platform can support different tasks based on the adopted modular design. As part of the platform, a novel hierarchical optimization scheme and two gradient aggregation methods are proposed, leading to almost an order of magnitude improvement in training convergence speed compared to other distributed or FL training algorithms like BMUF and FedAvg. The hierarchical optimization offers additional flexibility in the training pipeline besides the enhanced convergence speed. On top of the hierarchical optimization, a dynamic gradient aggregation algorithm is proposed, based on a data-driven weight inference. This aggregation algorithm acts as a regularizer of the gradient quality. Finally, an unsupervised training pipeline tailored to FL is presented as a separate training scenario. The experimental validation of the proposed system is based on two tasks: first, the LibriSpeech task showing a speed-up of 7x and 6% Word Error Rate reduction (WERR) compared to the baseline results. The second task is based on session adaptation providing an improvement of 20% WERR over a competitive production-ready LAS model. The proposed Federated Learning system is shown to outperform the golden standard of distributed training in both convergence speed and overall model performance.

연구 동기 및 목표

• 실세계 음성 인식에서 흔히 발생하는 이질적이고 비독립적 동일분포(Non-IID) 데이터 분포를 가진 연합 환경에서 강건한 음향 모델을 훈련하는 데 도전하는 것.
• 데이터 불균형과 개인정보 보호 제약 조건 하에서 자동 음성 인식(ASR)을 위한 연합 학습의 수렴 속도와 모델 성능을 향상시키는 것.
• 데이터 품질에 따라 적응적으로 그래디언트를 가중하는 새로운 그래디언트 집계 메커니즘을 개발하여, 열악한 품질의 업데이트를 완화하는 정규화 역할을 하는 것.
• 합성(TTS) 및 실제 음성 데이터를 활용해 연합 환경에서 효과적인 비지도 모델 적응을 가능하게 하여 치명적 기억 상실을 최소화하는 것.
• 계층적 최적화를 지원하는 모듈러하고 확장 가능한 FL 플랫폼을 기반으로, 종단 간(end-to-end) 연합 훈련 파이프라인을 처음으로 구현하는 것.

제안 방법

• 다단계 모델 적응 과정에서의 유연하고 효율적인 훈련 파이프라인 조합을 가능하게 하는 계층적 최적화 프레임워크를 도입한다.
• 데이터 기반 품질 평가에서 유도된 샘플 수준의 가중치를 추론하여, 집계 과정에서 고품질 그래디언트를 우선순위로 삼는 동적 그래디언트 집계(DGA) 알고리즘을 제안한다.
• DGA 메커니즘이 낮은 품질의 데이터 배치에서 유도된 그래디언트를 가중치를 낮춰 정규화 역할을 하여 강건성과 수렴성을 향상시킨다.
• 이중 단계 비지도 훈련 파이프라인을 구현한다: 첫 번째 단계에서는 TTS 합성 기반으로 시드 모델을 테넌트 전용 텍스트 데이터에 적응시킨다; 두 번째 단계에서는 발표 음성 데이터를 기반으로 연합 학습을 통해 모델을 미세조정한다.
• 두 번째 단계에서 서버 측면에서 실제 음성 데이터를 통합하여 과적합을 방지하고, 합성 TTS 데이터에 대한 과적합을 억제한다.
• 플랫폼은 모듈러한 작업 확장성을 지원하며, LAS 및 RNN-T 스타일 모델을 사용하여 지도형 LibriSpeech 및 비지도 세션 적응 작업 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 이질적이고 비독립적 동일분포 데이터 분포를 가진 환경에서 자동 음성 인식에 대해 연합 학습을 효과적으로 적용할 수 있는가?
• RQ2 연합 학습의 그래디언트 집계 과정을 데이터 품질에 따라 적응적으로 조정하여 수렴성과 모델 강건성을 향상시킬 수 있는가?
• RQ3 치명적 기억 상실을 유발하지 않고도 합성 TTS 데이터를 연합 미세조정에 효과적으로 활용할 수 있는가?
• RQ4 계층적 훈련 파이프라인은 음성 인식의 연합 세션 적응에서 성능 향상에 기여하는가?
• RQ5 동적 그래디언트 가중치 부여는 표준 FedAvg 및 BMUF 기준선 대비 수렴 속도와 단어 오류율(WER) 향상에 측정 가능한 기여를 하는가?

주요 결과

• 제안된 DGA 알고리즘이 FedAvg 및 BMUF와 같은 기준 분산 및 연합 훈련 방법 대비 훈련 수렴 속도를 7배로 향상시켰다.
• LibriSpeech 벤치마크에서 기준선 대비 단어 오류율(WER)을 6% 감소시켜 모델 정확도 향상을 입증했다.
• 세션 적응 작업에서 계층적 비지도 훈련 파이프라인은 생산 수준의 LAS 모델 대비 20% 상대적 WER 향상을 달성했다.
• 서버 측 훈련 중 실제 음성 데이터 통합이 모델 드리프트와 합성 TTS 데이터에 대한 과적합을 크게 감소시켜 일반화 능력을 향상시켰다.
• 특히 데이터가 적거나 노이즈가 많은 조건에서 낮은 품질의 그래디언트를 가중치를 낮춰 효과적으로 정규화하여 훈련을 강건하게 만들었다.
• FTL 플랫폼은 종단 간(seq2seq) 모델의 연합 환경에서의 훈련을 성공적으로 구현하여 확장성과 다양한 ASR 시나리오에 대한 적응성을 입증했다.