[论文解读] Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving

Xiwen Liang, Yangxin Wu+4 more|arXiv (Cornell University)|Sep 19, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出一种预训练-适配-微调范式，通过可学习的多尺度适配器对现成的自监督模型进行适配，显著提升语义分割、可行驶区域分割和目标检测任务的性能，从而改善自动驾驶中的多任务学习。此外，本文引入LV-Adapter，通过任务特定的提示机制整合CLIP的视觉-语言先验知识，在训练开销极小的情况下实现最先进性能。

ABSTRACT

Aiming towards a holistic understanding of multiple downstream tasks simultaneously, there is a need for extracting features with better transferability. Though many latest self-supervised pre-training methods have achieved impressive performance on various vision tasks under the prevailing pretrain-finetune paradigm, their generalization capacity to multi-task learning scenarios is yet to be explored. In this paper, we extensively investigate the transfer performance of various types of self-supervised methods, e.g., MoCo and SimCLR, on three downstream tasks, including semantic segmentation, drivable area segmentation, and traffic object detection, on the large-scale driving dataset BDD100K. We surprisingly find that their performances are sub-optimal or even lag far behind the single-task baseline, which may be due to the distinctions of training objectives and architectural design lied in the pretrain-finetune paradigm. To overcome this dilemma as well as avoid redesigning the resource-intensive pre-training stage, we propose a simple yet effective pretrain-adapt-finetune paradigm for general multi-task training, where the off-the-shelf pretrained models can be effectively adapted without increasing the training overhead. During the adapt stage, we utilize learnable multi-scale adapters to dynamically adjust the pretrained model weights supervised by multi-task objectives while leaving the pretrained knowledge untouched. Furthermore, we regard the vision-language pre-training model CLIP as a strong complement to the pretrain-adapt-finetune paradigm and propose a novel adapter named LV-Adapter, which incorporates language priors in the multi-task model via task-specific prompting and alignment between visual and textual features.

研究动机与目标

• 探究自监督预训练方法在多任务自动驾驶场景中迁移能力差的原因。
• 解决因预训练与微调目标不匹配导致的多任务学习性能下降问题。
• 开发一种高效适配方法，在不重新训练或增加计算成本的前提下增强预训练模型性能。
• 通过可学习提示机制，将CLIP的视觉-语言先验知识融入视觉特征，以提升下游任务性能。
• 证明适配阶段在弥合预训练与多任务微调之间差距方面具有关键作用。

提出的方法

• 提出一种预训练-适配-微调范式，即在微调前通过可学习的多尺度适配器对预训练模型进行适配，同时保留原始权重。
• 设计LV-Adapter，利用任务特定的可学习提示，将CLIP的文本先验注入视觉特征。
• 在适配过程中对齐视觉与文本特征，以提升跨任务的特征泛化能力。
• 在适配模块中特征拼接后，使用1×1卷积层降低通道维度。
• 采用连续提示微调方法，学习任务特定的文本嵌入，以引导视觉特征的适配过程。
• 将适配阶段的训练周期数固定为1，微调阶段固定为35，以实现最佳效率与性能平衡。

实验结果

研究问题

• RQ1 为何最先进的自监督预训练方法在多任务自动驾驶场景中表现不佳？
• RQ2 轻量级的适配阶段能否缓解预训练-微调范式中因目标不匹配导致的性能下降？
• RQ3 如何利用CLIP等视觉-语言预训练模型提升自动驾驶中的多任务特征学习？
• RQ4 适配与微调阶段的最佳周期配置是什么，以实现高效的多任务迁移？
• RQ5 通过可学习提示引入语言先验是否能带来更具泛化能力的视觉表征？

主要发现

• 与标准的预训练-微调基线相比，预训练-适配-微调范式在语义分割、可行驶区域分割和目标检测三项任务上均显著提升性能。
• LV-Adapter在语义分割任务上达到62.2 mIoU，在可行驶区域分割任务上达到83.7 mIoU，优于单任务基线和自训练基线。
• 仅用1个周期的适配和35个周期的微调即可获得最佳性能，表明极简的适配过程已足够实现有效的知识迁移。
• 消融实验证实，LV-Adapter通过可学习提示直接整合语言知识的方式，比提示调优或V2L适配模块更有效。
• 该方法有效缩小了预训练与多任务微调之间的性能差距，证明适配阶段是释放预训练模型在多任务设置中全部潜力的关键。
• 利用CLIP的文本编码器引导视觉特征学习，提供了可泛化的归纳偏置，有利于多样化下游任务。