[論文レビュー] A Survey of Code-switched Speech and Language Processing

Sunayana Sitaram, Khyathi Raghavi Chandu+2 more|arXiv (Cornell University)|Mar 25, 2019

Natural Language Processing Techniques参考文献 212被引用数 53

ひとこと要約

Speech and NLP におけるコードスイッチングの包括的な調査で、データセット、ベンチマーク、タスク、モデル、およびコードスイッチ言語処理の課題を挙げる。

ABSTRACT

Code-switching, the alternation of languages within a conversation or utterance, is a common communicative phenomenon that occurs in multilingual communities across the world. This survey reviews computational approaches for code-switched Speech and Natural Language Processing. We motivate why processing code-switched text and speech is essential for building intelligent agents and systems that interact with users in multilingual communities. As code-switching data and resources are scarce, we list what is available in various code-switched language pairs with the language processing tasks they can be used for. We review code-switching research in various Speech and NLP applications, including language processing tools and end-to-end systems. We conclude with future directions and open problems in the field.

研究の動機と目的

• 多言語ユーザーのやり取りにおけるコードスイッチされたテキストと音声の処理の重要性を動機づける。
• 音声とテキストのタスクを横断するコードスイッチ言語ペアのデータセットとリソースの包括的カタログを提供する。
• NLPとASRにおけるコードスイッチングの共有タスク、ベンチマーク、評価手法をレビューする。
• モデリング手法と応用を要約し、未解決の課題と今後の方向性を概説する。

提案手法

• コードスイッチングの言語理論を要約し、それを NLP/ASR の計算的考慮事項へ翻訳する。
• コードスイッチドスピーチ（ASR/TTS）およびテキスト（LID、NER、POS、パース、QA、NLI、ソーシャルメディアデータ）の利用可能なコーパスとリソースをカタログ化する。
• データが不足する場合のコードスイッチドシステムのモデリング戦略を説明する。転移学習、ドメイン適応、合成データ生成を含む。
• コードスイッチドシステムの評価ベンチマークと方法論を検討する。言語境界、マトリックス言語の概念、クロス言語制約を含む。
• コードスイッチド NLP における多言語モデル（例：Multilingual BERT）と埋め込みの役割を強調する。

実験結果

リサーチクエスチョン

• RQ1 異なる言語ペアに跨るコードスイッチド音声とテキストのデータセットとリソースは何が存在するか？
• RQ2 データ不足を踏まえて、どのようなモデリングと評価アプローチが効果的なコードスイッチドASRとNLPを実現するか？
• RQ3 共有タスクとベンチマークはコードスイッチ言語処理の進展にどのような影響を与えたか？
• RQ4 音声と NLP におけるコードスイッチ処理の未解決問題と今後の方向性は何か？

主な発見

• スピーチ用のコードスイッチングデータセットは（例：SEAME、HKUST Mandarin-English、CEMOS、CUMIX、MCSM、FACST など）複数存在し、テキスト用データセット（LID、NER、POS、パース、QA、NLI、ソーシャルメディア）も同様に存在する。
• コードスイッチ資源が乏しい場合には、転移学習、ドメイン適応、合成データへの依存が見られる。
• 共有タスクとベンチマークは、コードスイッチデータの LID、NER、POS、パース、QA、NLI における進展を促してきた。
• コードスイッチシステムの評価は、マトリックス言語の概念、言語境界検出、クロス言語制約を主要な考慮事項として活用する。
• NLP におけるコードスイッチングを扱うために、大規模な多言語モデルと跨語 embeddings が検討されている。
• コードスイッチングの ASR アプローチには、単一パスのソフト LID 決定、二言語の音響モデル、合成データや半教師データによるデータ拡張が含まれる。