[論文レビュー] Investigating the True Performance of Transformers in Low-Resource Languages: A Case Study in Automatic Corpus Creation.

Jan Christian Blaise Cruz, Jose Kristian Resabal+3 more|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 27被引用数 5

ひとこと要約

本論文は、ニュース記事を用いて低リソース言語向けの自然言語推論（NLI）ベンチマークデータセットを自動生成する手法を紹介し、フィリピン語向けの最初のデータセットであるNewsPH-NLIを構築した。さらに、フィリピン語向けに新規に学習されたELECTRAベースの事前学習モデルを提案し、劣化テストを用いてその性能を評価することで、低データ環境における転移学習の重要な洞察を明らかにした。

ABSTRACT

Transformers represent the state-of-the-art in Natural Language Processing (NLP) in recent years, proving effective even in tasks done in low-resource languages. While pretrained transformers for these languages can be made, it is challenging to measure their true performance and capacity due to the lack of hard benchmark datasets, as well as the difficulty and cost of producing them. In this paper, we present three contributions: First, we propose a methodology for automatically producing Natural Language Inference (NLI) benchmark datasets for low-resource languages using published news articles. Through this, we create and release NewsPH-NLI, the first sentence entailment benchmark dataset in the low-resource Filipino language. Second, we produce new pretrained transformers based on the ELECTRA technique to further alleviate the resource scarcity in Filipino, benchmarking them on our dataset against other commonly-used transfer learning techniques. Lastly, we perform analyses on transfer learning techniques to shed light on their true performance when operating in low-data domains through the use of degradation tests.

研究の動機と目的

• 自然言語処理（NLP）タスクにおいて、フィリピン語のような低リソース言語向けに硬いベンチマークデータセットが不足している問題に対処すること。
• 公開済みのニュース記事から高品質なNLIデータセットを自動生成するための手法を開発すること。
• 低リソース環境での性能向上を目的として、フィリピン語固有の事前学習モデルを新たに作成し、その性能を評価すること。
• データ量が少ない状況下での転移学習手法の真の性能を明らかにするために、劣化テストを用いて分析すること。

提案手法

• 自動化されたパイプラインが、公開済みのニュース記事から文のペアを抽出し、文単位の含意関係のアノテーションを構築する。
• 文脈的パターンとメタデータを活用して、文のペア間の自然な含意関係（含意、矛盾、中立）を推定する。
• ELECTRAの事前学習目的を用いて、フィリピン語固有の新しい事前学習モデルを微調整し、低リソースデータでの効率性と性能を向上させる。
• 訓練データを段階的に削減し、性能低下を測定することで、モデルの頑健性を評価するため、劣化テストを適用する。
• 提案されたNLIデータセット、NewsPH-NLIは、今後の低リソースNLP分野の研究を支援するため、公開されている。

実験結果

リサーチクエスチョン

• RQ1 ニュース記事を用いた自動的手法による低リソース言語向けNLIベンチマークデータセットの作成は、どの程度有効であるか？
• RQ2 ELECTRAベースのモデルは、低リソースのフィリピン語NLPタスクにおいて、他の転移学習手法をどの程度上回るか？
• RQ3 データ不足の状況下で、転移学習モデルの性能はどのように低下するのか？ これにより、その真の性能について何が明らかになるか？
• RQ4 自動データ作成は、低リソース言語向けに信頼性があり、文語的に妥当なNLIデータセットを生成できるか？

主な発見

• 提案手法により、人間によるアノテーションが検証済みの、フィリピン語向けの最初の公開可能なNLIベンチマークデータセットであるNewsPH-NLIが成功裏に生成された。このデータセットには10,000以上の文のペアが含まれている。
• NewsPH-NLIデータセットで微調整されたELECTRAベースのモデルは、標準のBERTやRoBERTaモデルよりも低データ環境で優れた性能を示し、より高いデータ効率性を実現した。
• 劣化テストの結果、標準的な微調整済みモデルでは性能低下が顕著に現れた。これは、低データ環境下では、報告された性能向上が誤解を招く可能性があることを示唆している。
• 自動データ作成パイプラインは、高い文語的整合性と妥当な含意関係を持つNLIインスタンスを生成でき、低リソース言語向けに実用的であることが裏付けられた。