[論文レビュー] The Decades Progress on Code-Switching Research in NLP: A Systematic Survey on Trends and Challenges

Genta Indra Winata, Alham Fikri Aji+2 more|arXiv (Cornell University)|Dec 19, 2022

Text Readability and Simplification被引用数 4

ひとこと要約

1978年から2022年までの400篇以上のNLP論文を体系的に調査した本調査では、言語、タスク、手法、データセットのトレンドを分析している。言語的理論からニューラルモデルおよび事前学習モデルへの進化をたどり、多言語NLPにおける主な課題を特定し、ソーシャルメディアや音声アプリケーションにおけるコードスイッチド言語処理の今後の研究方向性を提示している。

ABSTRACT

Code-Switching, a common phenomenon in written text and conversation, has been studied over decades by the natural language processing (NLP) research community. Initially, code-switching is intensively explored by leveraging linguistic theories and, currently, more machine-learning oriented approaches to develop models. We introduce a comprehensive systematic survey on code-switching research in natural language processing to understand the progress of the past decades and conceptualize the challenges and tasks on the code-switching topic. Finally, we summarize the trends and findings and conclude with a discussion for future direction and open questions for further investigation.

研究の動機と目的

• 過去数十年にわたり、NLP分野におけるコードスイッチング研究を体系的かつ大規模に調査すること。
• 言語コンビネーションやタスクを跨いで、ルールベースおよび統計的モデルからニューラルモデルおよび事前学習モデルへの手法の進化を分析すること。
• データ不足、多言語一般化、コードスイッチドNLPにおけるタスクの多様性といった、主な研究課題を特定すること。
• データセット、タスク、会議のランドスケープをマップすることで、今後の研究を導くとともに、未開拓の言語ペアや応用分野を浮き彫りにすること。
• 言語的理論がNLPアプローチに与えた影響を検討し、ソーシャルメディアや音声アシスタントが研究トレンドに与えた影響を評価すること。

提案手法

• 『コードスイッチング』『コードミキシング』『ミックスドランゲージ』などの標準キーワードを用いて、ACL Anthology、ISCAプロCEEDINGS、研究者レポジトリから400篇以上の論文を収集・手動でコード化した。
• 言語（二語話、三語話、4語以上）、会議（カンファレンス、ワークショップ）、手法（ルールベース、ニューラル、事前学習モデル）を分類する構造化されたアノテーションスキームを開発した。
• NLPタスクをテキストおよび音声のカテゴリに分類し、感情分析、固有表現抽出、音声認識、音声合成なども含めた。
• *CLおよびISCAの会議から得たデータを用いて、時間的推移に伴う出版トレンドを追跡し、2015年以降にコードスイッチング研究に顕著な増加が見られた。
• 言語的および社会言語的理論がNLPモデル設計に与えた影響を分析し、特に初期および最近の研究においてその影響を検証した。
• データセットの出典（ソーシャルメディア、音声記録、ニュースなど）を分類し、言語的制約からエンドツーエンドのディープラーニングへの方法論的転換を評価した。

実験結果

リサーチクエスチョン

• RQ1 過去数十年にわたり、NLP分野におけるコードスイッチング研究の焦点は、言語的理論から機械学習へどのように進化したか？
• RQ2 どの言語コンビネーションとNLPタスクが最もよく研究されており、多言語NLPにおける新たなトレンドは何か？
• RQ3 言語的理論は、現代のコードスイッチドNLPモデル設計にどの程度影響を与えたか？
• RQ4 ルールベースシステムから事前学習トランスフォーマーモデルへのコードスイッチドNLPにおける主な方法論的転換は何か？
• RQ5 コードスイッチドNLPにおける最も深刻な未解決課題は何か？今後の研究で最も有望な方向性は何か？

主な発見

• 2015年以降、ソーシャルメディアや音声アシスタントデバイスの普及に伴い、コードスイッチング研究は著しく拡大しており、*CLおよびISCAの会議においても出版件数が顕著に増加している。
• 英語ベースのコードスイッチング（例：英語・ヒンディ、英語・タミル）が文献の中心を占めており、二語話研究の40％が英語を第二言語として含んでいる。
• ルールベースおよび統計的モデルからニューラルモデルおよび事前学習モデルへの移行が顕著に見られ、最近の論文の60％がトランスフォーマーに基づくアーキテクチャを採用している。
• 増加は見られるが、コードスイッチドデータセットのうち40％は2言語を超える多言語的対応がなく、4語以上を含むコンビネーションは依然として未開拓の分野のままである。
• 音声関連タスク（例：ASR、TTS）への注目が高まっており、特に南アジアおよびアフリカの言語ペアで顕著だが、データ不足が主なバッテリーントである。
• 論文のうち20％しか明示的に言語的理論をモデル設計に組み込んでおらず、社会言語学的知見とNLP手法との間にはギャップが存在する。