[论文解读] Temporally Correlated Task Scheduling for Sequence Learning

Xueqing Wu, Lewen Wang+6 more|arXiv (Cornell University)|Jul 10, 2020

Parallel Computing and Optimization Techniques被引用 8

一句话总结

本文提出一种可学习的任务调度器，通过在训练过程中自适应地选择时间上相关的辅助任务，以提升序列学习模型的性能。通过采用双层优化联合优化调度器与主模型，该方法在无需额外监督的情况下实现了显著的性能提升——在端到端机器翻译中BLEU分数提升1–3分，在股票趋势预测中相关性排名提升最高达0.024。

ABSTRACT

Sequence learning has attracted much research attention from the machine learning community in recent years. In many applications, a sequence learning task is usually associated with multiple temporally correlated auxiliary tasks, which are different in terms of how much input information to use or which future step to predict. For example, (i) in simultaneous machine translation, one can conduct translation under different latency (i.e., how many input words to read/wait before translation); (ii) in stock trend forecasting, one can predict the price of a stock in different future days (e.g., tomorrow, the day after tomorrow). While it is clear that those temporally correlated tasks can help each other, there is a very limited exploration on how to better leverage multiple auxiliary tasks to boost the performance of the main task. In this work, we introduce a learnable scheduler to sequence learning, which can adaptively select auxiliary tasks for training depending on the model status and the current training data. The scheduler and the model for the main task are jointly trained through bi-level optimization. Experiments show that our method significantly improves the performance of simultaneous machine translation and stock trend forecasting.

研究动机与目标

• 为解决在序列学习中有效利用多个时间相关辅助任务这一尚未充分探索的挑战。
• 通过在训练过程中动态选择最具益处的辅助任务，提升主序列学习任务的性能。
• 开发一种自监督、端到端可训练的调度器，能够根据模型状态和训练数据自适应调整。
• 在多种应用场景（如端到端机器翻译与股价预测）中验证该方法的有效性。

提出的方法

• 引入一种可学习的调度器，根据模型状态和当前数据，为每个训练批次选择最合适的时序相关任务。
• 采用双层优化联合训练调度器与主模型：外层优化调度器以提升验证集性能，内层在选定任务上训练主模型。
• 调度器实现为单层前馈网络，使用ReLU激活函数，输入包括损失历史、预测结果、真实标签及当前数据。
• 该方法适用于序列到序列任务（如端到端翻译）与时间序列预测（如股价趋势），并共享架构组件。
• 该方法无需为调度器提供额外监督信号，完全依赖主任务的性能反馈。
• 该框架支持具有不同输入/输出时间偏移的多个辅助任务，例如wait-k翻译或预测未来股价。

实验结果

研究问题

• RQ1 自适应选择时间相关辅助任务是否能提升主序列学习任务的性能？
• RQ2 在辅助任务上采用固定策略与可学习调度策略时，主任务性能有何差异？
• RQ3 包含更多时间相关任务是否总是带来性能提升，还是无关任务引入的噪声会降低结果？
• RQ4 所提方法是否能在不同序列学习应用（如翻译与金融预测）中实现良好泛化？

主要发现

• 在端到端机器翻译中，所提方法在四个任务上相较wait-k基线，BLEU分数提升了1至3分。
• 在股票趋势预测中，使用5个辅助任务时，方法达到RankIC为0.075，优于MTL（0.061）与CL（0.056）的设定。
• 使用10个辅助任务时性能反而下降，表明更多任务可能引入噪声并降低结果。
• 方法的MSE为1.849，低于MTL的1.862与CL的1.880，表明预测精度更高。
• 调度器的自适应选择在所有评估设置中均优于静态多任务学习与课程学习。
• 即使与强模型（如GAT）结合，所提方法仍优于模型本身，证明其兼容性与有效性。