[논문 리뷰] Federated Learning Meets Natural Language Processing: A Survey

Ming Liu, Stella Ho외 4명|arXiv (Cornell University)|2021. 07. 27.

Privacy-Preserving Technologies in Data참고 문헌 69인용 수 43

한 줄 요약

이 논문은 연합 학습이 NLP에 어떻게 적용되는지 조사하며, 알고리즘, 개인정보 보호, 평가 방법 및 앞으로의 방향을 언어 모델링, 분류, 음성, 태깅, 추천, 건강 텍스트 마이닝에 걸쳐 다룬다.

ABSTRACT

Federated Learning aims to learn machine learning models from multiple decentralized edge devices (e.g. mobiles) or servers without sacrificing local data privacy. Recent Natural Language Processing techniques rely on deep learning and large pre-trained language models. However, both big deep neural and language models are trained with huge amounts of data which often lies on the server side. Since text data is widely originated from end users, in this work, we look into recent NLP models and techniques which use federated learning as the learning framework. Our survey discusses major challenges in federated natural language processing, including the algorithm challenges, system challenges as well as the privacy issues. We also provide a critical review of the existing Federated NLP evaluation methods and tools. Finally, we highlight the current research gaps and future directions.

연구 동기 및 목표

• NLP 응용에서 프라이버시를 보장하면서 분산된 텍스트 데이터로부터 학습을 촉진한다.
• NLP와 관련된 FL의 기초, 비 IID 데이터 문제, 프레임워크, 최적화 및 프라이버시 기법을 검토한다.
• FL 하에서의 NLP 태스크(언어 모델링, 분류, 음성, 태깅, 추천, 건강 텍스트 마이닝)를 조사한다.
• 연합 NLP를 위한 평가 방법과 도구를 비판적으로 평가한다.
• 연합 NLP를 위한 연구 격차를 강조하고 향후 방향을 제시한다.

제안 방법

• 연합 학습 문제 설정과 non-IID 데이터 고려사항을 설명한다.
• 중앙화된, 분산형, 이질적인 FL 프레임워크를 검토한다.
• 최적화, 프라이버시 보호 및 알고리즘 개발(FedAvg, FedAtt 등)을 요약한다.
• FL로 구현된 NLP 응용 및 태스크(LMs, 분류, 음성, 태깅, 추천, 건강 텍스트 마이닝)를 조사한다.
• 연합 NLP의 평가 측면 및 사용 가능한 도구를 다룬다.

실험 결과

연구 질문

• RQ1 NLP에 연합 학습을 적용하는 주요 도전 과제는 무엇인가?
• RQ2 FL 알고리즘과 프라이버시 기법은 NLP 태스크 전반에서 어떻게 구현되는가?
• RQ3 연합 NLP를 위한 평가 방법과 도구는 무엇이 있으며 남아 있는 격차는 무엇인가?
• RQ4 연합 NLP 연구와 응용을 진전시킬 향후 방향은 무엇인가?

주요 결과

• 연합 NLP 연구는 언어 모델링, 분류, 음성, 시퀀스 태깅, 추천, 건강 텍스트 마이닝에 걸쳐 있다.
• FedAvg는 언어 모델링 작업에서 지배적인 연합 최적화 전략이며, 일반화를 개선하기 위해 FedAtt와 같은 변형이 탐구된다.
• 프라이버시 보장은 연합 NLP에서 종종 차등 프라이버시, 보안 집계 및 관련 기법에 의존하지만, 유용성과의 트레이드오프는 조사된 연구들에서 항상 충분히 정량화되지는 않는다.
• 비 IID 데이터는 NLP 태스크 전반에 걸쳐 상당한 도전을 야기하며, 데이터 증강, 개인화 FL, 모델 집계 적응 등 다양한 전략이 논의된다.
• 연합 NLP에 대한 평가 방법과 도구가 비판적으로 검토되며, 표준화된 벤치마크와 프로토콜의 필요성이 드러난다.