[논문 리뷰] Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving

Xiwen Liang, Yangxin Wu외 4명|arXiv (Cornell University)|2022. 09. 19.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 학습된 다중 작업 자율 주행 시나리오에서 성능을 햖थ기 위해 사전 훈련된 자기지도 학습 모델을 유연한 다중 스케일 어댑터를 통해 적응시키는 pretrain-adapt-finetune 파라다임을 제안한다. 이는 의미 분할, 주행 가능한 영역 분할, 객체 검출 작업에서 성능을 크게 향상시킨다. 또한 LV-Adapter를 도입하여 CLIP의 시각-언어 사전 지식을 작업별 프롬프팅을 통해 통합함으로써 최소한의 훈련 오버헤드로 최신 기술 성능을 달성한다.

ABSTRACT

Aiming towards a holistic understanding of multiple downstream tasks simultaneously, there is a need for extracting features with better transferability. Though many latest self-supervised pre-training methods have achieved impressive performance on various vision tasks under the prevailing pretrain-finetune paradigm, their generalization capacity to multi-task learning scenarios is yet to be explored. In this paper, we extensively investigate the transfer performance of various types of self-supervised methods, e.g., MoCo and SimCLR, on three downstream tasks, including semantic segmentation, drivable area segmentation, and traffic object detection, on the large-scale driving dataset BDD100K. We surprisingly find that their performances are sub-optimal or even lag far behind the single-task baseline, which may be due to the distinctions of training objectives and architectural design lied in the pretrain-finetune paradigm. To overcome this dilemma as well as avoid redesigning the resource-intensive pre-training stage, we propose a simple yet effective pretrain-adapt-finetune paradigm for general multi-task training, where the off-the-shelf pretrained models can be effectively adapted without increasing the training overhead. During the adapt stage, we utilize learnable multi-scale adapters to dynamically adjust the pretrained model weights supervised by multi-task objectives while leaving the pretrained knowledge untouched. Furthermore, we regard the vision-language pre-training model CLIP as a strong complement to the pretrain-adapt-finetune paradigm and propose a novel adapter named LV-Adapter, which incorporates language priors in the multi-task model via task-specific prompting and alignment between visual and textual features.

연구 동기 및 목표

• 자기지도 사전 훈련 방법이 다중 작업 자율 주행 시나리오에서 전이 성능가 낮은 이유를 조사하기 위해.
• 사전 훈련 목적과 미세 조정 목적 간의 불일치로 인해 다중 작업 학습에서 성능 저하가 발생하는 문제를 해결하기 위해.
• 재훈련 없이도 계산 비용을 증가시키지 않고 사전 훈련된 모델을 효율적으로 적응시키는 방법을 개발하기 위해.
• 학습 가능한 프롬프팅을 통해 CLIP의 시각-언어 사전 지식을 시각적 특징에 통합하여 최종 작업 성능을 향상시키기 위해.
• 적응 단계가 사전 훈련과 다중 작업 미세 조정 사이의 격차를 메우는 데 핵심적이라는 것을 입증하기 위해.

제안 방법

• 사전 훈련된 모델을 미세 조정하기 전에 유연한 다중 스케일 어댑터를 통해 적응시키는 pretrain-adapt-finetune 파라다임을 도입하며, 원본 가중치를 유지한다.
• LV-Adapter를 설계하여 작업별로 학습 가능한 프롬프팅을 사용해 CLIP의 언어 사전 지식을 시각적 특징에 통합한다.
• 적응 단계에서 시각적 특징과 텍스트 특징을 정렬하여 다양한 작업 간의 특징 일반화를 향상시킨다.
• 어댑터 모듈에서 특징 병합 후 채널 차원을 줄이기 위해 1×1 컨볼루션 레이어를 사용한다.
• 연속적 프롬프트 튜닝을 활용해 작업별로 학습 가능한 텍스트 임베딩을 학습하여 시각적 특징 적응을 이끈다.
• 적응의 에포크 수를 1로 고정하고, 미세 조정의 에포크 수를 35로 설정하여 최적의 효율성과 성능을 확보한다.

실험 결과

연구 질문

• RQ1 최신 자기지도 사전 훈련 방법이 다중 작업 자율 주행 시나리오에서 성능이 떨어지는 이유는 무엇인가?
• RQ2 경량적 적응 단계가 사전 훈련-미세 조정 파라다임에서 목적 불일치로 인한 성능 저하를 완화할 수 있는가?
• RQ3 CLIP과 같은 시각-언어 사전 훈련 모델은 자율 주행에서 다중 작업 특징 학습을 어떻게 향상시킬 수 있는가?
• RQ4 효율적인 다중 작업 전이를 위해 적응 및 미세 조정 에포크의 최적 구성은 무엇인가?
• RQ5 학습 가능한 프롬프팅을 통해 언어 사전 지식을 통합하면 더 일반화된 시각적 표현이 만들어지는가?

주요 결과

• pretrain-adapt-finetune 파라다임은 의미 분할, 주행 가능한 영역 분할, 객체 검출의 세 가지 작업 모두에서 표준 pretrain-finetune 베이스라인 대비 성능 향상을 크게 이룬다.
• LV-Adapter는 의미 분할에서 62.2 mIoU, 주행 가능한 영역 분할에서 83.7 mIoU를 기록하여 단일 작업 베이스라인과 자기 훈련 베이스라인을 모두 초월한다.
• 단지 1 에포크의 적응과 35 에포크의 미세 조정으로도 최고의 성능를 달성하여, 효과적인 지식 전이를 위해 최소한의 적응이 충분함을 시사한다.
• 절단 분석 결과, LV-Adapter가 학습 가능한 프롬프팅을 통해 직접적으로 언어 지식을 통합하는 것이 프롬프팅 또는 V2L 적응 모듈보다 더 효과적임을 확인하였다.
• 이 방법은 사전 훈련과 다중 작업 미세 조정 사이의 성능 격차를 줄이며, 사전 훈련된 모델의 잠재력을 다중 작업 환경에서 최대로 발휘하기 위해 적응 단계가 핵심임을 입증한다.
• CLIP의 텍스트 인코더를 활용해 시각적 특징 학습을 이끌면 일반화 가능한 인덕티브 바이어스를 제공하며, 다양한 최종 작업에 유리하다.