[論文レビュー] Low resource language dataset creation, curation and classification: Setswana and Sepedi -- Extended Abstract

Vukosi Marivate, Tshephisho Joseph Sefara+5 more|arXiv (Cornell University)|Mar 30, 2020

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、セットワナ語およびセペディ語のニュース見出しを用いて、低リソース言語のデータセット作成・整備・分類のためのフレームワークを提案する。データ拡張および事前学習済みベクトル化手法を活用することで、分類性能を向上させた。小規模なデータセットにおいてもロジスティック回帰およびXGBoostで顕著な結果を達成し、低リソースNLPタスクの実現可能性を示した。

ABSTRACT

The recent advances in Natural Language Processing have only been a boon for well represented languages, negating research in lesser known global languages. This is in part due to the availability of curated data and research resources. One of the current challenges concerning low-resourced languages are clear guidelines on the collection, curation and preparation of datasets for different use-cases. In this work, we take on the task of creating two datasets that are focused on news headlines (i.e short text) for Setswana and Sepedi and the creation of a news topic classification task from these datasets. In this study, we document our work, propose baselines for classification, and investigate an approach on data augmentation better suited to low-resourced languages in order to improve the performance of the classifiers.

研究の動機と目的

• 低リソース言語、特に南アフリカ地域における整備済み言語リソースの不足に対処すること。
• 南アフリカの未発達言語としてのセットワナ語およびセペディ語のためのアノテート済みニュース見出しデータセットを作成すること。
• 政治、スポーツ、犯罪などの事前に定義されたトピックに短いニュース見出しを分類するための分類フレームワークを開発すること。
• 低リソース言語に適したデータ拡張技術を調査し、分類器の汎化性能を向上させること。
• セットワナ語およびセペディ語のNLPタスクにおける今後の研究のためのベースラインを確立すること。

提案手法

• SABCラジオ局およびソーシャルメディアから、219件のセットワナ語および491件のセペディ語のニュース見出しを収集した。
• 10種類の事前に定義されたトピックに見出しを分類した：法的、一般ニュース、スポーツ、その他、政治、交通情報、地域活動、犯罪、ビジネス、外国問題。
• 単語彙集を用いて複数のベクトル化手法を構築した：Bag of Words、TF-IDF、Word2Vec、FastText。これにより表現を向上させた。
• 5分割交差検証を用いて、ロジスティック回帰、サポートベクタ分類、XGBoost、マルチレイヤーパーセプトロンの複数の分類器を訓練および評価した。
• 低リソーステキストにおけるモデルの汎化性能を向上させるために、word2vecに基づくデータ拡張を適用した。
• Wikipedia、聖書、JW300から得た事前学習済み埋め込みを用いて、語彙が少ないデータセットのためのベクトル表現を改善した。

実験結果

リサーチクエスチョン

• RQ1 セットワナ語やセペディ語のような低リソース言語に対して、データセット作成および整備のための体系的フレームワークを確立できるか？
• RQ2 TF-IDF や FastText などの異なるベクトル化手法は、低リソース環境下での短いニュース見出しの表現にどの程度有効か？
• RQ3 word2vecに基づくデータ拡張は、小規模で低リソースのデータセットにおいて分類性能をどの程度向上させるか？
• RQ4 セットワナ語およびセペディ語のニュース見出し分類タスクにおいて、従来の機械学習モデルを用いて達成できるベースライン性能はどの程度か？
• RQ5 XGBoost と MLP などの異なる分類器は、これらの低リソースデータセットにおいて、精度および頑健性の観点からどのように比較されるか？

主な発見

• 本研究では、219件のセットワナ語および491件のセペディ語のニュース見出しを含む、多様なトピックをカバーする2つのアノテート済みデータセットを成功裏に作成した。
• ロジスティック回帰およびXGBoostは、両方のデータセットで競争力ある性能を示し、今後の研究における強力なベースラインを提供した。
• word2vecに基づくデータ拡張により、分類器の汎化性能が向上し、特に語彙が少ない状況で顕著であった。
• Wikipedia や聖書などの単語彙集から得た事前学習済みベクトル化手法により、短いテキストの表現学習が向上した。
• このフレームワークは、他の低リソース南アフリカ諸語への同様のアプローチの拡張が可能であることを示した。
• 結果から、整備済みデータと特化したベクトル化手法の重要性が浮き彫りになった。