[論文レビュー] Investigating an approach for low resource language dataset creation, curation and classification: Setswana and Sepedi

Vukosi Marivate, Tshephisho Joseph Sefara+5 more|arXiv (Cornell University)|Feb 18, 2020

Natural Language Processing Techniques参考文献 16被引用数 10

ひとこと要約

本論文は、セツワナ語とセペディ語のニュース見出しを用いて、低リソース言語のデータセットの作成、キュエーティング、分類のためのフレームワークを提案する。単語埋め込み（word2vec）に基づくデータ拡張とドキュメント埋め込み（doc2vec）による品質チェックを採用し、限られた学習データにもかかわらずセペディ語においても性能向上を達成。両言語の事前学習済み単語埋め込みも公開している。

ABSTRACT

The recent advances in Natural Language Processing have been a boon for well-represented languages in terms of available curated data and research resources. One of the challenges for low-resourced languages is clear guidelines on the collection, curation and preparation of datasets for different use-cases. In this work, we take on the task of creation of two datasets that are focused on news headlines (i.e short text) for Setswana and Sepedi and creation of a news topic classification task. We document our work and also present baselines for classification. We investigate an approach on data augmentation, better suited to low resource languages, to improve the performance of the classifiers

研究の動機と目的

• セツワナ語やセペディ語のような低リソースアフリカ言語における、キュエートされ、アノテーションが付与されたデータセットの不足を解決すること。
• 低リソース言語におけるニュース見出しのための、データセット作成、キュエーティング、トピック分類の体系的アプローチを開発すること。
• 低リソースNLPに特化した二段階のデータ拡張戦略を用いて、小規模な学習データセットでも分類器の性能を向上させること。
• 今後のNLPタスクを支援するため、セツワナ語およびセペディ語の事前学習済み単語埋め込みを公開すること。
• 他の低リソース言語に対しても同様のデータセットとモデルを構築できる再現可能で継続可能なパイプラインを研究者に提供すること。

提案手法

• SABCニュースのWebサイトおよびソーシャルメディアから、セツワナ語とセペディ語のニュース見出しを収集した。
• 事前に定義されたニュースカテゴリ（例：政治、一般、法的）を用いて収集済み見出しをアノテーションした。
• 収集済みデータを用いてword2vecモデルを学習し、両言語の事前学習済み単語埋め込みを生成した。
• 二段階のデータ拡張技術を適用した：第一に、word2vecの類似度を用いて意味的に類似する語に置換した。第二に、doc2vecを用いて拡張されたサンプルをフィルタリングし、意味的整合性を保った。
• 元の文と拡張された文の埋め込み間のコサイン類似度の閾値を用いて、拡張例の品質を保証した。
• Bag-of-Words、TF-IDF、word2vecの特徴表現を用いて、拡張あり・なしの両状態で複数の分類器（例：XGBoost、SVM、ロジスティック回帰）を訓練・評価した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、アフリカ言語における低リソース言語のデータセット作成・キュエーティングのためのスケーラブルで再現可能なフレームワークを設計できるか？
• RQ2 word2vecに基づくデータ拡張は、セツワナ語やセペディ語のような低リソース環境において、ニュース見出し分類性能をどの程度向上させるか？
• RQ3 doc2vecに基づく品質チェックは、類似度が低い拡張サンプルを効果的にフィルタリングし、モデルの汎化性能を向上させることができるか？
• RQ4 Bag-of-Words、TF-IDF、word2vecといった異なる特徴表現は、小規模データセットにおけるニューストピック分類において、性能でどのように異なるか？
• RQ5 データの偏りと限られたデータ量が分類器の性能に与える影響は何か。また、それらはどのように緩和できるか？

主な発見

• 提案されたword2vecベースのデータ拡張により、セペディ語データセットにおける分類器の性能が向上した。特にXGBoostを用いた拡張データでの結果が最も優れたものであった。
• 拡張パイプラインにdoc2vecによる品質チェックを組み込むことで、セペディ語における性能がさらに向上した。これは、拡張例の意味的整合性が向上したことを示している。
• word2vec特徴ベクトル（例：平均プーリング）を用いた性能は、TF-IDFおよびBoWベースラインよりもわずかに劣っていた。これは、最適な特徴学習のためにはより高度なアーキテクチャを必要とすることが示唆された。
• 混同行列の結果、モデルは一般ニュース、政治、法的ニュースのカテゴリで最も良好に動作したが、他のカテゴリでは苦戦した。これはクラスの不均衡と再サンプリングの必要性を示している。
• セツワナ語データセットにおけるデータの偏りにより、モデルは一般ニュースおよびその他のカテゴリに過学習していた。これは、データバランス調整技術の導入の必要性を浮き彫りにした。
• 本研究では、セツワナ語およびセペディ語の事前学習済み単語埋め込みを成功裏に公開し、今後のこれらの言語におけるNLP研究の貴重なリソースを提供した。