[논문 리뷰] DTL: Disentangled Transfer Learning for Visual Recognition

Minghao Fu, Ke Zhu외 1명|arXiv (Cornell University)|2023. 12. 13.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

DTL는 가벼운 Compact Side Network(CSN)를 사용하여 핏팅 가능한 파라미터를 고정된 백본에서 분리하는 디센트링된 전이 학습 프레임워크를 제안한다. 이로 인해 GPU 메모리 사용량과 핏팅 가능한 파라미터 수를 크게 줄였고, 시각 기반 벤치마크에서 최신 기술 수준의 정확도를 달성한다. 저랭크 선형 매핑과 선택적 특징 캘리브레이션을 통한 작업별 지식 주입을 통해, 기존 PETL 방법보다 뛰어난 효율성과 성능을 확보한다.

ABSTRACT

When pre-trained models become rapidly larger, the cost of fine-tuning on downstream tasks steadily increases, too. To economically fine-tune these models, parameter-efficient transfer learning (PETL) is proposed, which only tunes a tiny subset of trainable parameters to efficiently learn quality representations. However, current PETL methods are facing the dilemma that during training the GPU memory footprint is not effectively reduced as trainable parameters. PETL will likely fail, too, if the full fine-tuning encounters the out-of-GPU-memory issue. This phenomenon happens because trainable parameters from these methods are generally entangled with the backbone, such that a lot of intermediate states have to be stored in GPU memory for gradient propagation. To alleviate this problem, we introduce Disentangled Transfer Learning (DTL), which disentangles the trainable parameters from the backbone using a lightweight Compact Side Network (CSN). By progressively extracting task-specific information with a few low-rank linear mappings and appropriately adding the information back to the backbone, CSN effectively realizes knowledge transfer in various downstream tasks. We conducted extensive experiments to validate the effectiveness of our method. The proposed method not only reduces a large amount of GPU memory usage and trainable parameters, but also outperforms existing PETL methods by a significant margin in accuracy, achieving new state-of-the-art on several standard benchmarks. The code is available at https://github.com/heekhero/DTL.

연구 동기 및 목표

• 기존의 파rameter 효율적 전이 학습(PETL) 방법에서 핏팅 가능한 파라미터 수는 줄어들었지만 GPU 메모리 사용량이 여전히 높다는 중요한 한계를 해결하기 위해.
• 대규모 사전 학습 모델의 미세조정 중 GPU 메모리 사용량을 줄여, 메모리 부족 오류를 방지하기 위해.
• 디센트링된 아키텍처를 통해 핏팅 가능한 파라미터를 백본에서 분리함으로써 대규모 모델의 효율적이고 효과적인 미세조정을 가능하게 하기 위해.
• 다양한 시각 벤치마크에서 최소한의 핏팅 가능한 파라미터 수와 낮은 메모리 소비로 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 백본과 병렬로 작업별 정보를 추출하기 위해 저랭크 선형 투영을 사용하는 가벼운 Compact Side Network(CSN)을 도입한다.
• CSN의 출력을 백본의 특정 후행 블록들(M 번째 인덱스부터 시작)에 다시 주입하여 백본 가중치를 업데이트하지 않고도 특징을 적응시킨다.
• CSN 가중치와 분류 헤드만 핏팅하고 백본는 고정함으로써, 백본 활성화에 대한 기울기 캐싱을 제거하는 디센트링된 설계를 사용한다.
• DTL+에서 Swish 활성화 함수와 글로벌 딥워이즈 분리형 컨볼루션(DWConv)을 활용하여 특징 표현과 공간 모델링을 향상시킨다.
• 초기 백본 블록들을 고정함으로써 작업 간 특징 재사용을 지원하고, 효율적인 다중 작업 추론을 가능하게 한다.
• 낮은 랭크 파arameter화를 적용하여 핏팅 가능한 파라미터를 최소화하면서도 높은 표현 능력을 유지한다.

실험 결과

연구 질문

• RQ1 백본에서 핏팅 가능한 파라미터를 분리함으로써 미세조정 중 GPU 메모리 사용량을 크게 줄일 수 있는가?
• RQ2 가벼운 병렬 사이드 네트워크가 최소한의 파라미터 업데이트로 효과적인 지식 전이를 가능하게 하는가?
• RQ3 디센트링된 아키텍처에서 주입 지점(M)의 선택이 정확도와 메모리 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 더 적은 파라미터 수와 낮은 메모리 소비로 기존 PETL 방법보다 정확도에서 뛰어난 성능을 내는가?
• RQ5 DWConv와 활성화 함수의 추가가 DTL+ 버전의 성능 향상에 어떤 기여를 하는가?

주요 결과

• DTL는 GPU 메모리 사용량과 핏팅 가능한 파라미터 수를 크게 줄였고, VTAB-1K에서 가장 낮은 파라미터 수와 메모리 프로파일로 최고의 정확도를 달성한다.
• ImageNet, ImageNet-Sketch, ImageNet-R에서 DTL+는 이전 최신 기술 수준인 NOAH보다 평균 정확도를 최대 8% 향상시켰다.
• 제거 분석 결과, d′=2를 사용한 DTL+는 VTAB-1K에서 평균 정확도 77.7%를 기록하여 베이스라인(76.0%)과 다른 아키텍처 변형보다 뛰어난 성능을 보였다.
• DTL는 높은 추론 처리량을 유지했으며, 단일 3090 GPU에서 배치 크기 16일 때 초당 892장의 이미지를 처리해 AdaptFormer 및 NOAH 등의 베이스라인을 뛰어넘었다.
• 민감도 분석 결과 정확도는 M(주입 블록 인덱스)의 선택에 상대적으로 민감하지 않으며, M=7에서 M=12 사이에서 성능이 안정적으로 유지되어 강건성을 입증했다.
• d′=1(극도로 낮은 랭크)일 경우에도 DTL+는 강력한 성능을 유지하여 극한의 파라미터 효율성 조건에서도 효과적임을 보였다.