[논문 리뷰] Federated Learning in ASR: Not as Easy as You Think

Wentao Yu, Jan Freiwald외 3명|arXiv (Cornell University)|2021. 09. 30.

Speech Recognition and Synthesis참고 문헌 23인용 수 7

한 줄 요약

이 논문은 하이브리드 및 엔드 투 엔드(E2E) 모델을 사용하여 자동 음성 인식(ASR)을 위한 연합 학습(FL)을 조사한다. 이는 LibriSpeech 코퍼스를 기반으로 연합 평균화를 통해 수행된다. 높은 통신 비용과 모델 수렴 문제에도 불구하고, 중앙집중식 학습에 비해 FL은 성능 향상이 미미하여, 비독립 동일분포(Non-IID) 데이터와 기울기 감소 현상으로 인해 시퀀스 모델링 작업, 예를 들어 ASR에 FL을 적용할 때의 근본적인 한계를 드러낸다.

ABSTRACT

With the growing availability of smart devices and cloud services, personal speech assistance systems are increasingly used on a daily basis. Most devices redirect the voice recordings to a central server, which uses them for upgrading the recognizer model. This leads to major privacy concerns, since private data could be misused by the server or third parties. Federated learning is a decentralized optimization strategy that has been proposed to address such concerns. Utilizing this approach, private data is used for on-device training. Afterwards, updated model parameters are sent to the server to improve the global model, which is redistributed to the clients. In this work, we implement federated learning for speech recognition in a hybrid and an end-to-end model. We discuss the outcomes of these systems, which both show great similarities and only small improvements, pointing to a need for a deeper understanding of federated learning for speech recognition.

연구 동기 및 목표

• 사용자 프라이버시를 유지하면서 ASR 성능 향상에 연합 학습의 효과를 평가하는 것.
• 하이브리드 ASR와 엔드 투 엔드 트랜스포머/CTC 모델 간의 연합 학습 성능를 비교하는 것.
• 클라이언트 참여 빈도, 모델 업데이트 전략, 통신 비용이 FL 수렴과 정확도에 미치는 영향을 조사하는 것.
• 비독립 동일분포(Non-IID), 순차적 음성 데이터에 적용된 연합 평균화의 체계적 한계를 규명하는 것.
• 향후 프라이버시 보존 ASR 연구를 지원하기 위해 재현 가능한 학습 및 데이터 구성 스크립트를 공개하는 것.

제안 방법

• LibriSpeech 데이터셋에서 하이브리드 ASR(PyTorch-Kaldi)와 엔드 투 엔드 모델(ESPnet)을 사용하여 연합 평균화(FedAvg)를 구현한다.
• 클라이언트당 한 명의 화자로 구성된 연합 환경을 시뮬레이션하기 위해 LibriSpeech 코퍼스를 재구성하여 비독립 동일분포(Non-IID) 데이터 분포를 생성한다.
• 다양한 업데이트 전략 평가: C-레벨(클라이언트 수준), E-레벨(에포크 수준), B-레벨(배치 수준) 업데이트와 M- 및 W-평균화를 사용한다.
• 다양한 클라이언트 참여 빈도와 모델 업데이트 빈도에서 단어 오류율(WER)과 통신 비용을 측정한다.
• 전체 데이터셋으로 학습된 기준 모델을 성능 기준으로 사용한다.
• 순차적 데이터를 위한 FL에서의 모델 수렴, 기울기 감소, 정렬 문제를 분석한다.

실험 결과

연구 질문

• RQ1 동일한 FL 설정에서 하이브리드 모델과 엔드 투 엔드 ASR 모델 간의 연합 학습 성능는 어떻게 비교되는가?
• RQ2 FL 기반 ASR에서 통신 비용과 인식 정확도 사이의 상충 관계는 어떠한가?
• RQ3 비독립 동일분포(Non-IID) 데이터 분포와 클라이언트별 데이터 통계는 ASR에서 FL 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ4 다양한 모델 업데이트 빈도(C-, E-, B-레벨)는 연합 ASR에서 수렴과 WER에 어떤 영향을 미치는가?
• RQ5 특히 의사결정 트리, 언어 모델, 정렬 문제와 관련하여 ASR에 FL를 적용할 때의 주요 아키텍처 및 학습 과제는 무엇인가?

주요 결과

• 높은 통신 비용에도 불구하고, 연합 학습은 WER에 미미한 향상만을 가져오며, LibriSpeech 테스트 세트에서 8.98%에서 8.81%로 감소한다.
• 350명의 랜덤으로 선택된 화자(350명)를 매 라운드에 사용한 E-레벨 업데이트(E-350-W)가 하이브리드 모델에서 가장 낮은 WER 8.87%를 기록했지만, 통신량은 1618 GB에 달했다.
• C-레벨 업데이트(클라이언트 수준)는 가장 통신 효율적이었으며(317 GB), 기준 모델 대비 WER 향상도 미미하여 이로 인한 이점이 제한적임을 시사한다.
• 엔드 투 엔드 모델도 하이브리드 모델과 유사한 성능 추세를 보였으며, 이는 문제의 근본 원인이 모델 구조가 아니라 FL 프레임워크 자체에 있음을 시사한다.
• 연합 평균화는 비독립 동일분포(Non-IID) 데이터에서 기울기가 작아지고 수렴 속도가 느려지는 경향이 있으며, 이는 화자별로 그룹화된 온디바이스 음성 데이터에서 본질적인 문제이다.
• 본 연구에서는 현재 설정에서 정렬 모델과 언어 모델이 업데이트되지 않음을 규명하였으며, 이는 성능 저하와 프라이버시 유출 위험을 악화시킬 수 있다.