[論文レビュー] Adaptive Scheduling for Multi-Task Learning

Sébastien Jean, Orhan Fırat+1 more|arXiv (Cornell University)|Sep 13, 2019

Distributed and Parallel Computing Systems参考文献 19被引用数 31

ひとこと要約

本稿では、多言語ニューラル機械翻訳におけるマルチタスク学習のための適応的スケジューリングを提案し、検証性能を用いてタスクのサンプリング割合や勾配スケーリングを動的に調整する。低リソース翻訳（例：En-De）の性能向上を図りながら、高リソース性能（例：En-Fr）を損なわず、固定スケジュールやベースラインモデルを上回る。検証指標に基づく、暗黙的および明示的な適応戦略が採用されている。

ABSTRACT

To train neural machine translation models simultaneously on multiple tasks (languages), it is common to sample each task uniformly or in proportion to dataset sizes. As these methods offer little control over performance trade-offs, we explore different task scheduling approaches. We first consider existing non-adaptive techniques, then move on to adaptive schedules that over-sample tasks with poorer results compared to their respective baseline. As explicit schedules can be inefficient, especially if one task is highly over-sampled, we also consider implicit schedules, learning to scale learning rates or gradients of individual tasks instead. These techniques allow training multilingual models that perform better for low-resource language pairs (tasks with small amount of data), while minimizing negative effects on high-resource tasks.

研究の動機と目的

• マルチタスク学習におけるパフォーマンスの不均衡、特に低リソースタスクが性能を発揮できない多言語ニューラル機械翻訳の問題に対処すること。
• タスクサンプリングスケジュールのための手動ハイパーパramータチューニングへの依存を低減すること。
• 検証性能に基づいてタスクの重要性を動的に調整することで、マルチタスクモデルにおける深刻な忘却を緩和すること。
• 明示的（サンプリング確率の調整）および暗黙的（勾配／学習率スケーリング）の両方のスケジューリング戦略を検討すること。

提案手法

• 適応的スケジューリングは、タスクの相対的検証BLEUスコア（s_i / b_i）を用い、非正規化重み w_i = 1 / (min(1, s_i / b_i)^α + ε) を計算し、これを正規化してサンプリング確率に変換する。
• 暗黙的スケジューリングでは、w_i = 1 + sign(average_S - S_i) * min(γ, (max_j S_j)^α * |S_i - average_S|^β) として重みを計算し、忘却を防ぐために最小重みγを保証する。
• この手法は、明示的サンプリングおよび暗黙的勾配／学習率スケーリングの両方に対応しており、Adamのような適応的最適化手法でも一貫性を保つように調整されている。
• 適応の主な信号として検証スコアが使用され、訓練損失に依存せず、テスト性能と相関の低い場合があるため、検証性能に依存する。
• 手動によるハイパーパramータチューニングが非現実的になるような多数のタスクに対してもスケーラブルであるように設計されている。
• ハイパーパramータα、β、γはそれぞれ、適応の攻撃性と最小タスク重みを制御する。

実験結果

リサーチクエスチョン

• RQ1 検証性能を用いて、マルチタスク学習における動的タスクスケジューリングを効果的にガイドできるか？
• RQ2 明示的および暗黙的適応スケジューリング戦略は、高リソースおよび低リソースタスク間でパフォーマンスをどのようにバランスさせるか？
• RQ3 適応的スケジューリングにより、高リソースパフォーマンスを損なわず低リソース翻訳を向上させられるか？
• RQ4 Adamのような一般的な最適化手法下での適応的スケジューリングの安定性および収束特性はいかがなものか？
• RQ5 多数のタスクを持つモデルに適応的スケジューリングはどのようにスケーリングできるか？

主な発見

• 明示的適応スケジューリングにより、En-DeのBLEUスコアは開発セットで23.58（ベースライン）から24.67、テストセットで26.35に向上し、固定の50％および75％のEn-Frサンプリングスケジュールを上回った。
• 暗黙的検証ベーススケジューリングでは、En-Frの開発セットで34.67、テストセットで40.89のBLEUスコアを達成し、シングルタスクのEn-Frベースライン性能と一致した。
• 明示的適応スケジューリングは、En-Deで最高のテストBLEU（26.35）を達成し、低リソース翻訳における顕著な改善を示した。
• 暗黙的勾配スケーリング（GradNorm）は、En-De（開発セットで24.69）では良好に機能したが、En-Fr（開発セットで34.33）では性能が劣り、高リソースタスクのバランスに限界があることが示唆された。
• 提案手法により、高リソースと低リソースタスク間のパフォーマンスギャップが縮小され、高リソースペアへの劣化は最小限に抑えられた。
• 適応的スケジューリングは、多数のタスクにスケーリング可能である可能性を示し、手動によるハイパーパramータ探索が非現実的になる状況でも有効である。