[论文解读] Enhancing Transformer Training Efficiency with Dynamic Dropout

Hao Yan, Dan Shao|arXiv (Cornell University)|Nov 5, 2024

Oil and Gas Production Techniques被引用 4

一句话总结

本文提出动态丢弃（Dynamic Dropout），一种新颖的正则化技术，可在训练过程中根据训练轮次或验证损失改善情况，动态调整Transformer模型的丢弃率。通过实施线性衰减、指数衰减和基于验证损失的调整等调度策略，该方法加速了收敛并提升了推理效率，其中基于验证损失的调度策略在Shakespeare_char数据集上实现了最低的最终训练损失（0.7763）和最佳整体性能。

ABSTRACT

We introduce Dynamic Dropout, a novel regularization technique designed to enhance the training efficiency of Transformer models by dynamically adjusting the dropout rate based on training epochs or validation loss improvements. This approach addresses the challenge of balancing regularization and model capacity, which is crucial for achieving fast convergence and high performance. Our method involves modifying the GPT model to accept a variable dropout rate and updating dropout layers during training using schedules such as linear decay, exponential decay, and validation loss-based adjustments. Extensive experiments on the Shakespeare\_char dataset demonstrate that Dynamic Dropout significantly accelerates training and improves inference efficiency compared to a baseline model with a fixed dropout rate. The validation loss-based adjustment schedule provided the best overall performance, highlighting the potential of Dynamic Dropout as a valuable technique for training large-scale Transformer models.

研究动机与目标

• 为解决在Transformer训练过程中平衡正则化与模型容量的挑战，这对实现快速收敛和高性能至关重要。
• 克服固定丢弃率在不同训练阶段可能表现次优的局限性。
• 设计并评估基于训练进度或模型性能自适应调整的动态丢弃率调度策略。
• 在不损害泛化能力的前提下，提升大规模Transformer模型的训练效率与推理速度。
• 通过在Shakespeare_char数据集上的实证评估，证明动态丢弃的有效性。

提出的方法

• 该方法修改GPT模型架构，使其能够接受可于训练期间更新的可变丢弃率。
• 实现了多种动态丢弃率调度策略：线性衰减、指数衰减、余弦退火，以及基于验证损失的调整。
• 基于验证损失的调度策略在验证损失趋于平稳或改善时降低丢弃率，从而在训练后期促进更强的学习。
• 训练过程使用标准的AdamW优化方法，推理速度以每秒处理的token数为指标评估效率。
• 对初始丢弃率和衰减因子等超参数进行调优，以在收敛速度与泛化能力之间取得平衡。
• 实验对比了所有调度策略与固定基线模型在训练动态、收敛速度、最终损失和推理速度方面的表现。

实验结果

研究问题

• RQ1 在训练过程中动态调整丢弃率是否能提升Transformer模型的收敛速度与最终性能？
• RQ2 线性衰减、指数衰减、余弦退火以及基于验证损失的调整等不同动态丢弃率调度策略，在训练效率与泛化能力方面如何比较？
• RQ3 基于验证损失的自适应丢弃调度是否优于固定或基于轮次的调度策略，实现更好的泛化与更快的收敛？
• RQ4 与固定丢弃相比，动态丢弃在多大程度上提升了推理效率？
• RQ5 使用自适应丢弃时，训练时间与性能提升之间的权衡如何？

主要发现

• 基于验证损失的动态丢弃调度实现了最低的最终训练损失（0.7763），优于基线模型（0.8109）及其他所有调度策略。
• 该调度策略在训练效率与推理速度之间实现了最佳平衡，平均推理速度达1183.14 tokens/秒。
• 线性衰减与指数衰减调度分别将总训练时间缩短至238.39分钟与234.96分钟，而基线模型为511.63分钟。
• 所有动态调度策略均提升了推理速度，其中基于验证损失的调度实现了最快的平均推理速度（1183.14 tokens/sec）。
• 余弦退火调度表现优异，最终训练损失为0.8028，最佳验证损失为1.4715。
• 尽管性能有所提升，但基于验证损失的调度训练时间较长（315.49分钟），表明收敛速度与最终损失之间存在权衡。