[논문 리뷰] VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense Scene Understanding

Xin Yi, Junlong Du외 3명|arXiv (Cornell University)|2023. 12. 14.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다중 작업 밀도 있는 시나리오 이해를 위한 파rameter 효율적인 전이 학습 방법인 VMT-Adapter를 제안한다. 이 방법은 작업 수에 관계없이 $O(1)$ 수준의 학습 및 추론 비용을 달성하기 위해 작업 간에 투영을 공유하고 경량의 작업별 지식 추출 모듈을 사용한다. 단일 작업의 전체 미세조정 대비 3.96%의 상대적 성능 향상을 달성하면서도 사전 훈련된 모델의 학습 가능한 파rameter의 약 ~1%만 사용하며, VMT-Adapter-Lite는 파rameter를 0.36%로 줄였다.

ABSTRACT

Large-scale pre-trained models have achieved remarkable success in various computer vision tasks. A standard approach to leverage these models is to fine-tune all model parameters for downstream tasks, which poses challenges in terms of computational and storage costs. Recently, inspired by Natural Language Processing (NLP), parameter-efficient transfer learning has been successfully applied to vision tasks. However, most existing techniques primarily focus on single-task adaptation, and despite limited research on multi-task adaptation, these methods often exhibit suboptimal training and inference efficiency. In this paper, we first propose an once-for-all Vision Multi-Task Adapter (VMT-Adapter), which strikes approximately O(1) training and inference efficiency w.r.t task number. Concretely, VMT-Adapter shares the knowledge from multiple tasks to enhance cross-task interaction while preserves task-specific knowledge via independent knowledge extraction modules. Notably, since task-specific modules require few parameters, VMT-Adapter can handle an arbitrary number of tasks with a negligible increase of trainable parameters. We also propose VMT-Adapter-Lite, which further reduces the trainable parameters by learning shared parameters between down- and up-projections. Extensive experiments on four dense scene understanding tasks demonstrate the superiority of VMT-Adapter(-Lite), achieving a 3.96%(1.34%) relative improvement compared to single-task full fine-tuning, while utilizing merely ~1% (0.36%) trainable parameters of the pre-trained model.

연구 동기 및 목표

• 다수의 밀도 있는 예측 작업을 위한 대규모 사전 훈련된 시각 모델의 전체 미세조정이 유발하는 높은 계산 및 저장 비용을 해결하기 위해.
• 기존의 파rameter 효율적인 방법들이 학습 및 추론에서 작업 수에 따라 선형적으로 증가하는 비효율성을 해결하기 위해.
• 통합적이고 확장 가능한 프레임워크 안에서 작업별 표현을 유지하면서 효과적인 다중 작업 간 지식 공유를 가능하게 하기 위해.
• 특히 다중 작업 환경에서 성능을 손상시키지 않으면서도 학습 가능한 파rameter를 크게 줄이기 위해.
• 다양한 백본 아키텍처와 디코더 구조에 유연하게 적용 가능한 방법을 개발하기 위해.

제안 방법

• VMT-Adapter는 작업 수와 무관하게 작동하는 공유 투영을 도입하여, 작업 수에 대해 $O(1)$ 수준의 학습 및 추론 비용 스케일링을 가능하게 한다.
• 개별 작업의 표현을 유지하기 위해 최소한의 파rameter를 갖는 작업별 지식 추출 모듈을 활용한다.
• 모델은 트랜스포머의 중간 레이어에 통합되며, 작업 일반형 및 작업 특정 특징의 통합 학습을 가능하게 한다.
• VMT-Adapter-Lite는 어댑터 모듈 내 내림표현 및 올림표현 행렬 간에 학습 가능한 가중치를 공유하여 파ram터를 추가로 줄인다.
• 어댑터는 트랜스포머 인코더 및 디코더의 여러 레이어에 적용되어 다중 해상도 특징 적응을 가능하게 한다.
• 프레임워크는 세분화된 영역 분할, 표면 정규 방향 추정, 주목도 검출, 깊이 추정의 네 가지 밀도 있는 시나리오 이해 작업에서 평가되었다.

실험 결과

연구 질문

• RQ1 파rameter 효율적인 방법이 다수의 밀도 있는 시나리오 이해 작업에서 높은 성능을 달성하면서도 낮은 학습 및 추론 비용을 유지할 수 있는가?
• RQ2 작업별 표현 학습을 훼손하지 않으면서 효과적으로 다중 작업 간 지식을 공유할 수 있는가?
• RQ3 학습 가능한 파rameter를 전체 모델의 1% 미만으로 줄일 수 있으며, 전체 미세조정을 능가할 수 있는가?
• RQ4 어댑터 내 내림표현 및 올림표현 간의 파ram터 공유가 모델 크기를 크게 줄이고 성능 저하를 최소화할 수 있는가?
• RQ5 다양한 백본 아키텍처와 디코더 설계에 대해 이 방법이 어떻게 일반화되는가?

주요 결과

• VMT-Adapter는 네 가지 밀도 있는 시나리오 이해 작업에서 단일 작업 전체 미세조정 대비 3.96%의 상대적 성능 향상을 달성하였으며, 학습 가능한 파rameter는 113만 개(~전체 모델의 1%)에 불과하다.
• VMT-Adapter-Lite는 학습 가능한 파ram터를 40만 개(전체 모델의 0.36%)로 줄였고, 여전히 전체 미세조정 대비 1.34%의 상대적 성능 향상을 달성했다.
• 매우 적은 파rameter를 사용함에도 불구하고 강력한 베이스라인인 Polyhistor(+2.34% 향상) 및 Hyperformer(+2.64%)를 능가했다.
• VMT-Adapter는 다양한 백본 아키텍처로도 잘 일반화된다: SwinTransformer-Base에서 평균 7.10% 향상률을 기록하며 전체 미세조정를 초월했다.
• HRNet-V2의 고해상도 디코더를 포함한 다양한 디코더 아키텍처에서도 강력한 성능 유지를 보였으며, 상대적 향상률은 2.41%였다.
• 제거 실험 결과, 내림표현 비율(ρ)이 높을수록 성능 향상이 이루어지며, ρ=8까지 지속적으로 향상되며, VMT-Adapter-Lite에서 m=3으로 설정할 경우 파ram터 수와 정확도 사이의 최적의 균형을 이룬다.