[論文レビュー] Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer

Sheng Zhang, Xin Zhang+2 more|arXiv (Cornell University)|Sep 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 8

ひとこと要約

本稿では、多タスク転移学習のためのworst-case-awareなカリキュラム学習フレームワークを提案する。このフレームワークは、worst-case損失を最小化するようにタスクを動的に選択することで、ゼロショットおよびフェイワショット一般化を向上させる。バッファ内のタスクの性能に基づいてサンプリングを最適化するマルチアームバンディットを用いることで、明示的なデータサイズの重み付けをせずとも、小規模なタスクや外れ値タスクに対してより高いロバスト性を達成する。

ABSTRACT

Multi-task transfer learning based on pre-trained language encoders achieves state-of-the-art performance across a range of tasks. Standard approaches implicitly assume the tasks, for which we have training data, are equally representative of the tasks we are interested in, an assumption which is often hard to justify. This paper presents a more agnostic approach to multi-task transfer learning, which uses automated curriculum learning to minimize a new family of worst-case-aware losses across tasks. Not only do these losses lead to better performance on outlier tasks; they also lead to better performance in zero-shot and few-shot transfer settings.

研究の動機と目的

• 標準的な多タスク学習が平均損失を最小化するという制限を克服する。これは、外れ値や小規模タスクで性能が低下する原因となることがある。
• 訓練データが不足または存在しないゼロショットおよびフェイワショット設定において、ドメイン外タスクへの一般化を向上させる。
• データサイズや複雑さの特徴を明示的に与えず、worst-case性能に基づいてサンプリングを適応的に変更する、ロバストで自動化されたカリキュラム学習戦略を開発する。
• 高損失または遅れを示すタスクを動的に優先することで、リソースが限られたタスクでの性能を向上させる。
• minimaxと損失比例戦略の間を滑らかに補間する一般化されたworst-case-awareな目的関数の族を形式化する。

提案手法

• 最近の訓練損失における各タスクのworst-case性能に基づいてタスクを選択する動的サンプリングポリシーを学ぶために、マルチアームバンディットを用いる。
• サンプリング意思決定を支援するため、最近の訓練ステップにおける各タスクの平均損失を格納するFIFOバッファを維持する。
• パラメータφでパrameter化されたworst-case-aware損失目的関数の族を定義する。ここでφ=0は損失比例サンプリングに対応し、φ=1は厳密なworst-case最小化に対応する。
• ベースモデルや損失計算を変更せずに、標準的な多タスク訓練パイプラインにカリキュラム学習ラッパーを統合する。
• worst-case損失の観点から得られる報酬を用いて、バンディットポリシーを訓練する。これにより、現在の損失が最も高いタスクの選択が促進される。
• GLUEベンチマーク上で事前学習済み言語モデルにこの手法を適用し、ドメイン内およびドメイン外の転移性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な多タスク学習と比較して、worst-case-awareなカリキュラム学習戦略は、ゼロショットおよびフェイワショット転移設定における一般化を改善できるか？
• RQ2 worst-case性能に基づく動的タスクサンプリングは、サイズが異なるタスク間での学習ダイナミクスと収束にどのように影響するか？
• RQ3 worst-case損失の最小化は、均一またはサイズ比例サンプリングと比較して、小規模または外れ値タスクでの性能向上に寄与するか？
• RQ4 固定またはヒューリスティックベースのカリキュラムと比較して、提案手法はロバスト性および転移性能の面で優れているか？
• RQ5 明示的なデータサイズや複雑さの監視なしに、自動カリキュラム学習戦略はタスクの難易度にどの程度適応的に対応できるか？

主な発見

• 提案手法は、標準的な多タスク学習と比較して、GLUEベンチマークにおける平均性能を同等またはわずかに上回る。
• 特にデータが少ない状況下で、SICK-R/E、SciTail、WikiQAなどの小規模タスクで顕著な性能向上を示す。
• φ=1（厳密なworst-case最小化）の場合、タスク間の訓練損失曲線がより密に収束し、学習のバランスが取れており、分散が減少していることが示された。
• バンディットが学習したサンプリング戦略は、均一およびサイズ比例ベースラインから乖離しており、小規模タスクが想定よりも頻繁にサンプリングされている。
• ゼロショットおよびフェイワショット設定において、ドメイン外データセットへの一般化が向上し、分布シフトに対してより高いロバスト性を示した。
• 学習ダイナミクスから、データサイズや複雑さの特徴を明示的に与えず、バッファ内の損失トレンドにのみ依存して、タスク難易度に適応するカリキュラムが形成されていることが明らかになった。