[論文レビュー] A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios

Michael A. Hedderich, Lukas Lange+3 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling被引用数 4

ひとこと要約

本サーベイは、低リソース環境における自然言語処理の最近のアプローチについて、包括的で構造的な概要を提供する。主な焦点は、データ拡張、遠隔教師あり学習、転移学習、メタラーニングである。研究者が利用可能なデータに基づいて適切な手法を選択できるように、手法の要件、仮定、実務的ガイダンスを提示するとともに、低リソースNLP分野における未解決の課題と今後の研究方向性を特定する。

ABSTRACT

Deep neural networks and huge language models are becoming omnipresent in natural language applications. As they are known for requiring large amounts of training data, there is a growing body of work to improve the performance in low-resource settings. Motivated by the recent fundamental changes towards neural models and the popular pre-train and fine-tune paradigm, we survey promising approaches for low-resource natural language processing. After a discussion about the different dimensions of data availability, we give a structured overview of methods that enable learning when training data is sparse. This includes mechanisms to create additional labeled data like data augmentation and distant supervision as well as transfer learning settings that reduce the need for target supervision. A goal of our survey is to explain how these methods differ in their requirements as understanding them is essential for choosing a technique suited for a specific low-resource setting. Further key aspects of this work are to highlight open issues and to outline promising directions for future research.

研究の動機と目的

• 低リソース環境における自然言語処理の最近の手法について、構造的かつ包括的な概要を提供すること。
• さまざまな低リソースNLP手法のデータおよびリソース要件を明確にすることで、実務家が適切な手法を選択できるようにガイドすること。
• 多言語間アライメントやヒューリスティクス、未ラベルデータへの依存といった、異なる手法の背後にある仮定を分析すること。
• 低リソースNLP分野における未解決の課題を特定し、有望な今後の研究方向性を提示すること。
• メソドロジカルなトレードオフをマッピングすることで、言語や分野が代表されにくい言語に対してもNLP技術への広範なアクセスを支援すること。

提案手法

• データ拡張、遠隔教師あり学習、転移学習などを含む11の主要な低リソースNLP手法を分類・分析する。
• ラベル付きデータ、未ラベル付きデータ、ヒューリスティクス、多言語間アライメントといった、各手法のデータ要件に基づいて評価する。
• 多言語言語モデル（例：mBERT、XLM-RoBERTa）やドメイン適応型言語表現を含む、転移学習メカニズムを検討する。
• 補助タスクを活用して低リソース状況での一般化性能を向上させる、敵対的学習およびメタラーニングアプローチをレビューする。
• 手法をその必要なリソースとターゲット設定にマッピングする構造的フレームワークを用いて、体系的に比較する。
• ヨルوبا語、エストニア語、クエチャ語などの多様な言語およびNER、POSタギング、センチメント分析などのタスクからの実例を用いて、手法の適用可能性を説明する。

実験結果

リサーチクエスチョン

• RQ1 低リソース環境におけるNLPパフォーマンス向上のための主なメソドロジカルアプローチは何か？
• RQ2 データ拡張や遠隔教師あり学習などの異なる手法は、データおよびリソース要件においてどのように異なるか？
• RQ3 転移学習およびメタラーニング手法が低リソースNLPにおいてどのような仮定に依存しているか？
• RQ4 多言語およびドメイン適応型言語モデルは、どのようにしてターゲット言語やドメインにおけるラベル付きデータの必要性を低減するか？
• RQ5 低リソースNLP研究分野における未解決の課題と有望な今後の研究方向性は何か？

主な発見

• データ拡張と遠隔教師あり学習は、ヒューリスティクスや弱教師あり学習を用いて追加のラベル付きデータを生成することで、高価な人手によるラベル付けに依存するのを減らすことができる。
• 多言語言語モデル（例：mBERT、XLM-RoBERTa）を介した転移学習により、低リソース言語へのゼロショットまたはフェイシュート転移が効果的に可能になる。
• ドメイン適応型言語モデルは、ドメイン固有の未ラベル付きテキストで微調整することで、低リソースドメインにおけるパフォーマンスを向上させる。
• メタラーニングおよび敵対的学習は、複数の補助タスクから学習することで、低リソースタスク間での一般化性能を向上させる。
• 進展は見られるが、ヨルوبا語、ハウサ語、クエチャ語などの多くの低リソース言語は、意味解析や共参照解決といった高レベルのNLPタスクに適した高品質なデータセットをまだ欠いている。
• 本サーベイは、深刻なギャップを特定している：一部の低リソース言語では基本的なNLPタスク（例：トークン化、NER）は支援されているが、データ不足のため高レベルの応用は依然として未開発のままである。