[論文レビュー] BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context

Jean-Philippe Corbeil, Hadi Abdi Ghadivel|arXiv (Cornell University)|Sep 25, 2020

Topic Modeling被引用数 14

ひとこと要約

本稿では、変換型モデルにおけるパラフレーズ同定の性能向上を目的とした、シンプルでありながら効果的なデータ拡張手法BET（Backtranslation-based Text Augmentation）を提案する。Google Translateを用い、10種類の多様な中間言語を活用することで、合成されたパラフレーズを生成し、MRPC、Quora、TPCのデータセットにおいて性能を向上させた。F1と正答率において3%以上の向上を達成し、特に100件のサンプルしか利用できない低データ環境でも顕著な効果を示した。

ABSTRACT

Newly-introduced deep learning architectures, namely BERT, XLNet, RoBERTa and ALBERT, have been proved to be robust on several NLP tasks. However, the datasets trained on these architectures are fixed in terms of size and generalizability. To relieve this issue, we apply one of the most inexpensive solutions to update these datasets. We call this approach BET by which we analyze the backtranslation data augmentation on the transformer-based architectures. Using the Google Translate API with ten intermediary languages from ten different language families, we externally evaluate the results in the context of automatic paraphrase identification in a transformer-based framework. Our findings suggest that BET improves the paraphrase identification performance on the Microsoft Research Paraphrase Corpus (MRPC) to more than 3% on both accuracy and F1 score. We also analyze the augmentation in the low-data regime with downsampled versions of MRPC, Twitter Paraphrase Corpus (TPC) and Quora Question Pairs. In many low-data cases, we observe a switch from a failing model on the test set to reasonable performances. The results demonstrate that BET is a highly promising data augmentation technique: to push the current state-of-the-art of existing datasets and to bootstrap the utilization of deep learning architectures in the low-data regime of a hundred samples.

研究の動機と目的

• NLPデータセットの一般化能の制限と固定サイズの問題、特に低データ環境における課題に対処すること。
• 大規模なアノテート済みデータセットを必要とせず、低コストでスケーラブルなデータ拡張技術を検討し、変換型モデルの性能を向上させること。
• バックトランスレーションをパラフレーズ同定タスクにおけるデータ拡張戦略としての有効性を調査すること。
• MRPC、Quora、TPCなどのベンチマークデータセットにおいて、BETが最小限の学習データでもモデル性能を顕著に向上させることを実証すること。
• 今後の低データNLP研究を支援するため、再現可能な拡張済みデータセットを提供すること。

提案手法

• 多様な言語ファミリーに属する10種類の中間言語を用い、Google Translate APIを介してバックトランスレーションを実施し、合成パラフレーズを生成する。
• バックトランスレーションパイプラインを用いる：元の文 → 中間言語に翻訳 → 再度元の言語に逆翻訳して拡張パラフレーズを生成する。
• 元の文と完全一致するかどうかをフィルタリングすることで、重複を回避し、意味の整合性を保持する。
• BERT、XLNet、RoBERTa、ALBERTの4つの変換型モデルを、元のデータセットおよび拡張済みデータセットで学習・評価する。
• MRPC、Quora、TPCデータセットにおいて、正答率、F1、適合率、再現率の複数の指標を用いて性能を体系的に評価する。
• 100個のバランスドサンプルを用いたダウンサンプリングデータセットを用いたアブレーションスタディを実施し、低データ環境下での有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 バックトランスレーションに基づくデータ拡張は、変換型モデルのパラフレーズ同定タスクにおける性能を顕著に向上させることができるか？
• RQ2 100件の学習サンプル（クラス1つあたり）という低データ環境下でも、BETは有効な性能向上をもたらすか？
• RQ3 モデル・データセット・中間言語の組み合わせの中で、最も高い性能向上を達成するのはどれか？
• RQ4 多様な言語ファミリーに属する複数の言語を中間言語として用いることで、単一言語に依存する場合と比較して、データ拡張の質が向上するか？
• RQ5 標準的なNLPベンチマークにおいて、他のデータ拡張技術と比較してBETの性能向上はどの程度か？

主な発見

• BETは、全量のMRPCデータセットにおいてF1スコアを3%以上向上させ、それに伴い正答率も上昇させた。これは顕著な性能向上を示している。
• ダウンサンプリングされたQuoraデータセット（100件）では、BETによりF1スコアがベースラインの0.524から、アラビア語を中間言語として使用したALBERTでは0.649にまで上昇した。これは低データ環境下でも顕著な向上を示している。
• TPCデータセットでは、性能向上のマージナルな増加が最も大きかった。特にBERTとXLNetでは、F1スコアの向上が0.2を超えるケースも見られた。
• RoBERTaは、ダウンサンプリングされたQuoraデータセットで最高の再現率上昇（最大1.000）を示したが、適合率の低下によりF1スコアが低下した。これは性能指標間のトレードオフを示している。
• アラビア語、ベトナム語、スペイン語、ヨルーバ語、中国語など、複数の言語を中間言語として用いることで、単一言語に依存する場合よりも多様性があり、効果的な拡張が可能になった。
• 低データ環境下では、BETにより元々失敗していたモデル（例：F1 = 0.0）が、F1 > 0.5 の妥当な性能を持つモデルに変換された。これは、低リソースNLPアプリケーションのブートストラップにBETが有効である可能性を示している。