[論文レビュー] Temporally Correlated Task Scheduling for Sequence Learning

Xueqing Wu, Lewen Wang+6 more|arXiv (Cornell University)|Jul 10, 2020

Parallel Computing and Optimization Techniques被引用数 8

ひとこと要約

本論文では、序列学習モデルの性能向上を目的として、学習中に時間的に相関する補助タスクを動的に選択する学習可能タスクスケジューラを提案する。二段階最適化によりスケジューラとメインモデルを同時に最適化することで、追加の監督信号を必要とせず、同時機械翻訳ではBLEUスコアを1〜3ポイント向上させ、株価予測では順位相関係数を最大0.024向上させる顕著な性能向上を達成した。

ABSTRACT

Sequence learning has attracted much research attention from the machine learning community in recent years. In many applications, a sequence learning task is usually associated with multiple temporally correlated auxiliary tasks, which are different in terms of how much input information to use or which future step to predict. For example, (i) in simultaneous machine translation, one can conduct translation under different latency (i.e., how many input words to read/wait before translation); (ii) in stock trend forecasting, one can predict the price of a stock in different future days (e.g., tomorrow, the day after tomorrow). While it is clear that those temporally correlated tasks can help each other, there is a very limited exploration on how to better leverage multiple auxiliary tasks to boost the performance of the main task. In this work, we introduce a learnable scheduler to sequence learning, which can adaptively select auxiliary tasks for training depending on the model status and the current training data. The scheduler and the model for the main task are jointly trained through bi-level optimization. Experiments show that our method significantly improves the performance of simultaneous machine translation and stock trend forecasting.

研究の動機と目的

• 序列学習における複数の時間的に相関する補助タスクを効果的に活用するという未だ十分に検討されていない課題に対処すること。
• 訓練中に最も有益な補助タスクを動的に選択することで、メインの序列学習タスクの性能を向上させること。
• モデルの状態と訓練データに基づいて適応的に学習可能な自己教師的でエンドツーエンドで訓練可能なスケジューラを開発すること。
• 本手法の有効性を、同時翻訳や株価予測といった多様な応用分野において実証すること。

提案手法

• モデルの状態と現在のデータに基づき、各訓練バッチに対して時間的に相関するタスクをどのものを選択するかを決定する学習可能スケジューラを導入する。
• スケジューラとメインモデルを二段階最適化により同時に訓練する：外側のループでスケジューラを検証性能に基づいて最適化し、内側のループで選択されたタスクに基づいてモデルを訓練する。
• スケジューラは、損失履歴、予測値、正解ラベル、および現在のデータを入力とするReLU活性化関数を用いた1層の順伝播ネットワークとして実装される。
• 本手法は、序列変換タスク（例：同時翻訳）および時系列予測タスク（例：株価トレンド）の両方へ適用可能であり、共通のアーキテクチャ要因を共有する。
• スケジューラに対して追加の監督信号を必要とせず、メインタスクからのパフォーマンスフィードバックのみに依存する。
• 本アプローチは、例えばwait-k翻訳や将来の株価予測といった、入力・出力の時間的オフセットが異なる複数の補助タスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 時間的に相関する補助タスクの適応的選択は、メインの序列学習タスクの性能向上に寄与するか？
• RQ2 補助タスクのスケジューリング戦略を固定した場合と学習可能な戦略を用いた場合とで、メインタスクの性能はどのように変化するか？
• RQ3 より多くの時間的に相関するタスクを含めれば、性能は常に向上するのか、それとも関係のないタスクによるノイズが結果を劣化させるか？
• RQ4 提案手法は、翻訳や金融予測といった異なる序列学習応用分野へ一般化可能か？

主な発見

• 同時機械翻訳において、本手法は4つのタスクすべてでwait-kベースラインを上回り、BLEUスコアを1〜3ポイント向上させた。
• 株価トレンド予測において、5つの補助タスクを用いた場合、本手法はRankICを0.075に達し、同じ設定下でMTL（0.061）とCL（0.056）を上回った。
• 10個の補助タスクを用いた場合、5個のときよりも性能が低下したため、タスク数を増やすことがノイズを導入し、結果を劣化させる可能性があることが示された。
• MSEは本手法が1.849、MTLが1.862、CLが1.880であったため、本手法はより高い予測精度を達成した。
• スケジューラの適応的選択は、すべての評価設定において静的マルチタスク学習およびカリキュラム学習を上回った。
• GATのような強力なモデルと組み合わせても、本手法は単体のモデルよりも優れた結果を達成しており、その互換性と有効性が示された。