[論文レビュー] Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification

Junghoon Lee, Jounghee Kim+1 more|arXiv (Cornell University)|Jul 22, 2021

Topic Modeling参考文献 36被引用数 6

ひとこと要約

本稿では、バックトランスレーションを用いたタスク適応的微調整（BT-TAPT）を提案する。この手法は、限られたタスク固有データをバックトランスレーションにより拡張することで、言語モデルの一般化性能を向上させる。元のデータとバックトランスレーションされたデータの両方で再微調整を行うことで、BT-TAPTは特に低リソースおよびノイズが多いデータセットにおいて、標準的な微調整やタスク適応的微調整を上回る高い精度と頑健性を達成する。

ABSTRACT

Language models (LMs) pretrained on a large text corpus and fine-tuned on a downstream text corpus and fine-tuned on a downstream task becomes a de facto training strategy for several natural language processing (NLP) tasks. Recently, an adaptive pretraining method retraining the pretrained language model with task-relevant data has shown significant performance improvements. However, current adaptive pretraining methods suffer from underfitting on the task distribution owing to a relatively small amount of data to re-pretrain the LM. To completely use the concept of adaptive pretraining, we propose a back-translated task-adaptive pretraining (BT-TAPT) method that increases the amount of task-specific data for LM re-pretraining by augmenting the task data using back-translation to generalize the LM to the target task domain. The experimental results show that the proposed BT-TAPT yields improved classification accuracy on both low- and high-resource data and better robustness to noise than the conventional adaptive pretraining method.

研究の動機と目的

• 限られたラベル付きデータがある状況下で、タスク適応的微調整の過学習を是正すること。
• 事前学習済み言語モデルの特定のダウンストリームタスクドメインへの一般化性能を向上させること。
• さまざまな種類のノイズや変更を加えた入力テキストに対するモデルの頑健性を向上させること。
• 微調整段階だけでなく、事前学習段階においてもバックトランスレーションをデータ拡張戦略として有効に活用できるかを検討すること。

提案手法

• まず、元のタスクデータを用いて標準的なタスク適応的微調整（TAPT）を実行する。
• 次に、英語-ドイツ語の機械翻訳モデルを用いて、タスクデータの言い換えを生成するバックトランスレーションを実施する。
• 多様性を保ちつつ意味を保存する言い換えを生成するために、ヌクレアスサンプリング（top-p）とビームサーチを用いる。
• 生成された拡張データを用いて、あらかじめ適応的微調整が済みの言語モデルをさらに再微調整する。
• 最終的なモデルは、ドメイン固有のデータと多様な言い換え済みデータの両方の微調整を経て、ラベル付きデータ上で微調整される。
• 本手法は、BERTおよびRoBERTaを用いて6つのテキスト分類データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 事前学習段階でバックトランスレーションに基づくデータ拡張を実施することで、低リソースなテキスト分類タスクの性能が向上するか？
• RQ2 標準的な微調整やTAPTと比較して、BT-TAPTはさまざまな種類の入力ノイズに対してモデルの頑健性を向上させるか？
• RQ3 高リソースおよび低リソースの両方のデータセットにおいて、BT-TAPTは標準的な事前学習やTAPTと比較して、精度と一般化性能に優れているか？
• RQ4 バックトランスレーションで生成された言い換えは、タスク適応的微調整のドメインカバレッジを有効に拡張できるか？

主な発見

• BT-TAPTは、6つのテキスト分類データセットすべてで、標準的な事前学習とTAPTを上回る分類精度を達成した。
• 100件の訓練文しか存在しないIMDBデータセットにおいても、BT-TAPTは顕著な性能向上を示し、低リソース環境での有効性を裏付けた。
• BT-TAPTは、同義語置換、文字レベルの破損、不変性テストの摂動など、5種類のノイズタイプすべてで正の精度向上を達成した。一方、TAPTは場合によっては性能が低下した。
• バックトランスレーションに基づくノイズ（BTビームおよびBT top-p）に対して、BT-TAPTはTAPTを常に上回り、精度向上の差が顕著に見られた。
• 性能のばらつきが減少したため、モデルの安定性と一般化性能が向上したことが示された。
• BT-TAPTは特にノイズのある入力の処理に優れており、実世界の展開環境における頑健性を確認した。