[논문 리뷰] TOAST: Transfer Learning via Attention Steering

Baifeng Shi, Siyu Gai외 2명|arXiv (Cornell University)|2023. 05. 24.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

TOAST는 백본을 미세조정하지 않고도 작업에 관련된 특징에 주의를 재집중시킴으로써 모델 성능을 햖थन하는 새로운 전이학습 방법이다. 이는 상향식 주의 모듈을 사용하여 자기주목층 내에서 관련 특징을 선택적으로 강화하며, FGVC(86.2% 정확도)와 지시어 따르기 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 파라미터를 최소한으로 조정한다.

ABSTRACT

Transfer learning involves adapting a pre-trained model to novel downstream tasks. However, we observe that current transfer learning methods often fail to focus on task-relevant features. In this work, we explore refocusing model attention for transfer learning. We introduce Top-Down Attention Steering (TOAST), a novel transfer learning algorithm that keeps the pre-trained backbone frozen, selects task-relevant features in the output, and feeds those features back to the model to steer the attention to the task-specific features. By refocusing the attention only, TOAST achieves state-of-the-art results on a number of transfer learning benchmarks, while having a small number of tunable parameters. Compared to fully fine-tuning, LoRA, and prompt tuning, TOAST substantially improves performance across a range of fine-grained visual classification datasets (e.g., 81.1% -> 86.2% on FGVC). TOAST also outperforms the fully fine-tuned Alpaca and Vicuna models on instruction-following language generation. Code is available at https://github.com/bfshi/TOAST.

연구 동기 및 목표

• 기존 전이학습 방법이 작업에 관련된 특징에 모델 주의를 집중시키지 못하는 한계를 해결하기 위해.
• 파라미터 업데이트에 의존하기보다는 주의를 명시적으로 재집중시킴으로써 전이학습의 최종 성능을 향상시키기 위해.
• 완전한 미세조정의 계산 비용을 피하면서도 최소한의 파라미터 조정으로 최신 기술 수준의 성능를 달성하기 위해.
• 주의 재집중만으로도 완전히 미세조정된 모델의 성능를 뛰어넘을 수 있는지 탐색하기 위해.

제안 방법

• TOAST는 백본의 출력에서 작업에 관련된 특징을 선택하고 이를 각 자기주목층에 피드백하는 상향식 주의 모듈을 도입한다.
• 피드백 신호는 주의 메커니즘의 쿼리, 키, 밸류 변환을 조절하여 작업 특화된 특징에 대한 주의를 강화한다.
• 사전 훈련된 백본은 그대로 유지되고, 오직 상향식 주의 모듈만 최종 작업에 대해 미세조정된다.
• 특징 선택 모듈에서 토큰 단위 및 채널 단위 주의를 사용하여 관련된 공간적 및 채널적 특징을 식별하고 강화한다.
• TOAST-Lite는 파라미터 효율적인 변종으로, 더 적은 조정 가능한 파라미터로 TOAST 성능을 유지하며 LoRA와 유사한 파라미터 효율성을 보인다.
• 초기화를 향상시키기 위해 사전 훈련 단계를 포함하여 수렴성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 백본을 미세조정하지 않고도 작업에 관련된 특징에 모델 주의를 재집중시키는 것이 전이학습 성능 향상에 기여할 수 있는가?
• RQ2 상향식 주의 조절이 완전한 미세조정과 LoRA, 프롬프트 튜닝과 같은 파라미터 효율적 방법에 비해 최종 작업 벤치마크에서 어떻게 성능를 비교할 수 있는가?
• RQ3 사전 훈련 및 채널 단위 주의와 같은 아키텍처 구성 요소가 TOAST의 성능에 미치는 영향은 무엇인가?
• RQ4 TOAST는 시각을 넘어 LLaMA-7B와 같은 대규모 언어 모델로 일반화되어 지시어 따르기 작업에 적용될 수 있는가?
• RQ5 계산 오버헤드는 성능에 어떤 영향을 미치며, 정확도 손실 없이 이를 줄일 수 있는가?

주요 결과

• FGVC 벤치마크에서 TOAST는 평균 86.2% 정확도를 기록했으며, 완전한 미세조정된 ViT-B보다 5% 향상되었고 LoRA보다는 5.1% 향상되었다.
• VTAB 벤치마크에서 TOAST는 18개 작업 중 11개에서 다른 방법들을 능가하여 다양한 시각 작업에 걸쳐 광범위한 효과를 보였다.
• 지시어 따르기 언어 생성에서 TOAST는 완전히 미세조정된 Alpaca와 Vicuna 모델을 능가했으며, 더 구체적이고 정보가 풍부한 응답을 생성했다.
• TOAST-Lite는 FGVC에서 TOAST의 성능을 유지하면서도 매우 적은 수의 파라미터만 조정했고, 유사한 파라미터 효율성으로 LoRA와 VPT를 능가했다.
• 제거 실험에서 사전 훈련이 필수적임을 확인했으며, 이를 제거하면 성능이 86.2%에서 81.9%로 떨어지지만 여전히 미세조정 성능를 초월했다.
• 채널 단위 주의를 제거하는 것이 토큰 단위 주의를 제거하는 것보다 더 큰 부정적 영향을 미치며, 성능 향상에 있어 채널 수준의 특징 선택이 핵심임을 시사한다.