[논문 리뷰] Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner from Backbone

Zeyinzi Jiang, Chaojie Mao외 6명|arXiv (Cornell University)|2023. 10. 30.

Ferroelectric and Negative Capacitance Devices인용 수 4

한 줄 요약

Res-Tuning는 백본 모델에서 튜너를 분리하는 새로운 파라미터 효율적 튜닝 패러다임을 제안하여, 튜닝 전략의 유연한 조합과 메모리 효율성 향상을 가능하게 한다. 튜너를 분리함으로써, VTAB-1K에서 최고 성능을 기록하고, 훈련 메모리 소비를 49.7% 감소시키며, 다중 작업 추론 시간을 80.9% 단축시키는 메모리 효율적 변종인 Res-Tuning-Bypass를 통해 성능을 향상시킨다.

ABSTRACT

Parameter-efficient tuning has become a trend in transferring large-scale foundation models to downstream applications. Existing methods typically embed some light-weight tuners into the backbone, where both the design and the learning of the tuners are highly dependent on the base model. This work offers a new tuning paradigm, dubbed Res-Tuning, which intentionally unbinds tuners from the backbone. With both theoretical and empirical evidence, we show that popular tuning approaches have their equivalent counterparts under our unbinding formulation, and hence can be integrated into our framework effortlessly. Thanks to the structural disentanglement, we manage to free the design of tuners from the network architecture, facilitating flexible combination of various tuning strategies. We further propose a memory-efficient variant of Res-Tuning, where the bypass i.e., formed by a sequence of tuners) is effectively detached from the main branch, such that the gradients are back-propagated only to the tuners but not to the backbone. Such a detachment also allows one-time backbone forward for multi-task inference. Extensive experiments on both discriminative and generative tasks demonstrate the superiority of our method over existing alternatives from the perspectives of efficacy and efficiency. Project page: $\href{https://res-tuning.github.io/}{ extit{https://res-tuning.github.io/}}$.

연구 동기 및 목표

• 튜너를 백본 아키텍처에 고정적으로 연결하는 기존 파라미터 효율적 튜닝(PETL) 방법의 경직성과 비효율성을 해결한다.
• 기존 PETL 방법들인 프리픽스 튜닝, 프롬프트 튜닝, 어댑터와 같은 방법들이 가지는 설계의 유연성과 조합 가능성의 한계를 극복한다.
• 역전파 과정에서 튜너 경로를 주 백본에서 분리함으로써, 훈련 및 추론의 메모리 효율성을 높인다.
• 구조적 분리와 모듈형 튜너 조합을 통해 더 강력한 튜닝 전략의 발견을 가능하게 한다.
• 성능을 저하시키지 않은 채, 분류 및 생성 태스크 모두에서 계산 및 메모리 오버헤드를 감소시킨다.

제안 방법

• 튜너를 백본에서 분리하는 제안된 비율 형식을 통해, 튜너의 독립적 설계 및 훈련을 가능하게 한다.
• 이론적 등가성 증명을 통해 기존 PETL 방법들(예: 프리픽스 튜닝, 프롬프트 튜닝, 어댑터)을 Res-Tuning 프레임워크 하에서 등가 성분으로 재구성한다.
• 튜너 경로(버스패스)를 주 백본에서 분리하여 기울기 전파가 오직 튜너로만 이루어지도록 하는 메모리 효율적 변종인 Res-Tuning-Bypass를 도입한다.
• 다중 작업 추론 과정에서 동결된 백본을 한 번의 전방향 전파로 처리할 수 있도록 튜너 경로를 격리한다.
• 잔차형 스킵 연결을 사용하여 튜너를 잔차 방식으로 학습 가능한 모듈로 통합함으로써 기울기 흐름과 모델 안정성을 유지한다.
• 최소한의 아키텍처 수정으로 분류 태스크(예: VTAB-1K)와 생성 태스크(예: Stable Diffusion)에 모두 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 기존 파라미터 효율적 튜닝 방법들이 통합적이고 분리된 프레임워크 하에서 등가적으로 재구성될 수 있는가?
• RQ2 튜너를 백본에서 분리함으로써, 이전 방법들을 능가하는 더 유연하고 조합 가능한 튜닝 전략이 가능해지는가?
• RQ3 분리된 튜너 경로(버스패스)가 다중 작업 학습 중 메모리 소비와 추론 비용을 크게 감소시킬 수 있는가?
• RQ4 Res-Tuning-Bypass 변종이 훈련 및 추론 오버헤드를 줄이면서도 성능을 유지하거나 향상시키는 데까지 어느 정도 기여하는가?
• RQ5 분리된 형식이 소수 학습 및 도메인 일반화 시나리오에서 성능에 어떤 영향을 미치는가?

주요 결과

• Res-Tuning는 단지 150만 개의 학습 가능한 파라미터로 VTAB-1K에서 최고 성능을 기록했으며, 4배 더 많은 파라미터를 사용하는 LoRA(14.50)를 능가한다.
• 분류 태스크에서 Res-Tuning-Bypass는 완전한 미세조정 모델 대비 훈련 메모리 소비를 49.7% 감소시키고, 다중 작업 추론 시간을 80.9% 단축시켰다.
• Stable Diffusion v1.5를 사용한 텍스트-이미지 생성 태스크에서 Res-Tuning-Bypass는 메모리 사용량을 29%로 줄이고, 훈련 시간을 완전한 미세조정 기준 41%로 단축시켰다.
• 생성 태스크에서는 메모리 소비를 70.7% 감소시키고, 훈련 시간을 58.6% 줄였으며, 경쟁 가능한 FID 점수와 생성 품질을 유지했다.
• 정성적 결과에서는 더 나은 의미적 일치도와 정확도를 보였으며, 예를 들어 다섯 개의 꽃잎을 가진 풍선 꽃의 정확한 생성과 새의 실제적인 깃털 질감의 재현 등에서 향상된 성능을 보였다.
• 프레임워크를 통해 어댑터, 프리픽스 튜닝 등 다양한 튜닝 전략을 모듈러하게 조합할 수 있었으며, 이로 인해 개별 방법들보다 더 강력한 성능을 달성했다.