[論文レビュー] Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative

Lucio M. Dery, Paul Michel+2 more|arXiv (Cornell University)|Sep 15, 2021

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

本稿では、低リソースNLPタスクにおける従来のエンドタスクに依存しない継続的事前学習の代わりに、マルチタスク学習（MT-TARTAN）およびメタラーニング（META-TARTAN）を用いたエンドタスクに配慮した学習を提案し、下流タスクのパフォーマンスとデータ効率に顕著な向上を示した。このアプローチは補助目的とエンドタスクを同時に最適化し、広範なハイパーパrameterチューニングを必要とせずに、標準的な事前学習手法を上回る性能を発揮する。

ABSTRACT

In most settings of practical concern, machine learning practitioners know in advance what end-task they wish to boost with auxiliary tasks. However, widely used methods for leveraging auxiliary data like pre-training and its continued-pretraining variant are end-task agnostic: they rarely, if ever, exploit knowledge of the target task. We study replacing end-task agnostic continued training of pre-trained language models with end-task aware training of said models. We argue that for sufficiently important end-tasks, the benefits of leveraging auxiliary data in a task-aware fashion can justify forgoing the traditional approach of obtaining generic, end-task agnostic representations as with (continued) pre-training. On three different low-resource NLP tasks from two domains, we demonstrate that multi-tasking the end-task and auxiliary objectives results in significantly better downstream task performance than the widely-used task-agnostic continued pre-training paradigm of Gururangan et al. (2020). We next introduce an online meta-learning algorithm that learns a set of multi-task weights to better balance among our multiple auxiliary objectives, achieving further improvements on end-task performance and data efficiency.

研究の動機と目的

• エンドタスクに依存しない事前学習の常識を、事前にターゲットタスクが分かっている低リソースNLP環境で問い直す。
• 標準的な継続的事前学習の非効率性とハイパーパrameterへの感受性を解消するため、エンドタスクの目的関数を訓練プロセスに直接組み込む。
• 補助目的とエンドタスク目的のバランスを取るマルチタスク学習により、データ効率と下流タスクのパフォーマンスを向上させる。
• 複数の目的の重みを自動的に調整するメタラーニングに基づく手法を開発し、エンドタスクのパフォーマンスをさらに向上させる。
• ヒューリスティックな事前学習スケジュールへの依存を減らし、検証に基づく広範なハイパーパrameterチューニングの必要性を排除する。

提案手法

• 事前学習中にマスク言語モデリング目的とエンドタスク目的を同時に最適化するマルチタスク学習フレームワークMT-TARTANを提案する。
• エンドタスクの検証損失を最小化することで、動的マルチタスク重みを学習するオンラインメタラーニングアルゴリズムMETA-TARTANを導入する。
• メタ目的を計算するための別個のモデルヘッドを用いることで、補助タスクを無視してエンドタスクに集中するのを防ぐ。
• 計算コストを抑えるためにメタラーニングで一次近似を採用し、パフォーマンスを維持する。
• 既存の事前学習モデルを初期化として用い、2つのドメインにおける低リソースNLPタスクに本手法を適用する。
• 内側のループで複合目的で学習し、外側のループでエンドタスクのパフォーマンスに基づいてメタ重みを更新する二段階最適化の設定を採用する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習によるエンドタスクに配慮した学習は、低リソースNLP環境における標準的なエンドタスクに依存しない継続的事前学習を上回ることができるか？
• RQ2 補助目的とエンドタスク目的を同時に最適化することで、逐次的な事前学習と微調整と比較して、データ効率と最終的なパフォーマンスが向上するか？
• RQ3 メタラーニングを用いて複数の補助目的とエンドタスクを自動的にバランスさせることで、一般化性能とロバストネスが向上するか？
• RQ4 この文脈におけるメタラーニングの失敗モードは何か、そしてそれらはどのように緩和できるか？
• RQ5 エンドタスクに配慮した学習は、広範なハイパーパrameterチューニングとヒューリスティックな事前学習スケジュールの必要性を低減するか？

主な発見

• MT-TARTANは、Gururanganら（2020）の標準的な継続的事前学習手法よりも、3つの低リソースNLPタスクで顕著に優れた下流タスクパフォーマンスを達成した。
• 提案手法はデータ効率を向上させ、ベースラインの事前学習アプローチと比較して、少ない訓練データでもより良いパフォーマンスを発揮できる。
• META-TARTANは、メタラーニングによる動的マルチタスク重みの学習により、MT-TARTANをさらに上回るパフォーマンスを達成した。
• メタ目的用の別個ヘッドの使用により、補助タスクを無視するというメタラーニングの一般的な失敗モードを防いだ。
• メタ最適化がエンドタスクの検証パフォーマンスを直接最適化するため、手動によるハイパーパrameterチューニングへの依存が減少した。
• 実験的結果から、エンドタスクに配慮した学習は、従来の事前学習パイプラインと比較して、より良い一般化性能とより安定した学習ダイナミクスをもたらすことが示された。