[論文レビュー] Federated Learning Meets Natural Language Processing: A Survey

Ming Liu, Stella Ho+4 more|arXiv (Cornell University)|Jul 27, 2021

Privacy-Preserving Technologies in Data参考文献 69被引用数 43

ひとこと要約

この論文は、連邦学習がNLPにどのように適用されているかを概観し、アルゴリズム、プライバシー、評価手法、将来の方向性を、言語モデリング、分類、音声、タグ付け、推奨、健康テキストマイニングにわたって扱います。

ABSTRACT

Federated Learning aims to learn machine learning models from multiple decentralized edge devices (e.g. mobiles) or servers without sacrificing local data privacy. Recent Natural Language Processing techniques rely on deep learning and large pre-trained language models. However, both big deep neural and language models are trained with huge amounts of data which often lies on the server side. Since text data is widely originated from end users, in this work, we look into recent NLP models and techniques which use federated learning as the learning framework. Our survey discusses major challenges in federated natural language processing, including the algorithm challenges, system challenges as well as the privacy issues. We also provide a critical review of the existing Federated NLP evaluation methods and tools. Finally, we highlight the current research gaps and future directions.

研究の動機と目的

• decentralised テキストデータからの学習を促進しつつ、NLPアプリケーションにおけるプライバシーを保護する。
• FLの基本、非IIDデータの課題、NLPに関連するフレームワーク、最適化、プライバシー技術をレビューする。
• FLの下でNLPタスク（言語モデリング、分類、音声、タグ付け、推奨、健康テキストマイニング）を調査する。
• Federated NLPの評価手法とツールを批判的に評価する。
• Federated NLPの研究ギャップを強調し、今後の方向性を提案する。

提案手法

• 連邦学習の問題設定と非IIDデータの考慮点を説明する。
• 集中型、分散型、異種性FLフレームワークをレビューする。
• 最適化、プライバシー保護、アルゴリズム開発（例：FedAvg、FedAtt）を要約する。
• FLを用いて実装されたNLPアプリケーションとタスクを調査する（LMs、分類、音声、タグ付け、推奨、健康テキストマイニング）。
• Federated NLPの評価面と利用可能なツールを検討する。

実験結果

リサーチクエスチョン

• RQ1 FLをNLPに適用する際の主な課題は何か。
• RQ2 NLPタスク全体でFLアルゴリズムとプライバシー技術はどのように実装されているか。
• RQ3 Federated NLPの評価手法とツールは何が存在し、どのギャップが残っているか。
• RQ4 Federated NLP研究と応用を前進させる将来の方向性は何か。

主な発見

• Federated NLP研究は言語モデリング、分類、音声、シーケンスタグ付け、推奨、健康テキストマイニングに跨っている。
• FedAvgは言語モデリングタスクにおける主な連邦最適化戦略であり、一般化を向上させるようFedAttなどの派生も探究されている。
• Federated NLPにおけるプライバシー保護は、差分プライバシー、セキュアアグリゲーションなどの手法に依存することが多いが、ユーティリティとのトレードオフは調査された論文で必ずしも十分に定量化されていない。
• 非IIDデータはNLPタスク全体で重大な課題を生み、データ拡張、個別化FL、モデルアグリゲーションの適応など、さまざまな戦略が検討されている。
• NLP- Federatedの評価手法とツールは批判的に見直され、標準化されたベンチマークとプロトコルの欠如が指摘されている。