[논문 리뷰] FacT: Factor-Tuning for Lightweight Adaptation on Vision Transformer

Shibo Jie, Zhihong Deng|arXiv (Cornell University)|2022. 12. 06.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 시각 Transformer(ViT)용 파rameter 효율적인 미세조정 방법인 FacT를 제안한다. FacT는 텐서화와 분해를 통해 가중치 증분을 낮은 랭크 텐서로 분해하여 극도로 높은 파rameter 효율성을 달성한다. VTAB-1K에서 ViT의 0.01%에 해당하는 단지 8,000개의 학습 가능한 파rameter만을 사용하여 SOTA 성능을 달성하며, 특히 소수의 샘플이 있는 설정에서 전체 미세조정 및 기존 PETL 방법들을 능가한다.

ABSTRACT

Recent work has explored the potential to adapt a pre-trained vision transformer (ViT) by updating only a few parameters so as to improve storage efficiency, called parameter-efficient transfer learning (PETL). Current PETL methods have shown that by tuning only 0.5% of the parameters, ViT can be adapted to downstream tasks with even better performance than full fine-tuning. In this paper, we aim to further promote the efficiency of PETL to meet the extreme storage constraint in real-world applications. To this end, we propose a tensorization-decomposition framework to store the weight increments, in which the weights of each ViT are tensorized into a single 3D tensor, and their increments are then decomposed into lightweight factors. In the fine-tuning process, only the factors need to be updated and stored, termed Factor-Tuning (FacT). On VTAB-1K benchmark, our method performs on par with NOAH, the state-of-the-art PETL method, while being 5x more parameter-efficient. We also present a tiny version that only uses 8K (0.01% of ViT's parameters) trainable parameters but outperforms full fine-tuning and many other PETL methods such as VPT and BitFit. In few-shot settings, FacT also beats all PETL baselines using the fewest parameters, demonstrating its strong capability in the low-data regime.

연구 동기 및 목표

• 모델을 사용자 또는 작업 단위로 저장해야 하는 실세계 응용 프로그램에서 전체 미세조정의 저장소 비효율성을 해결하기 위해.
• 미세조정 중 ViT 가중치 증분 내의 내부 가중치 및 상호 가중치 랭크 중복성을 활용하기 위해.
• 기존 최고 수준의 방법을 초월하여 학습 가능한 파rameter를 더욱 줄이는 파rameter 효율적인 전이학습(PETL) 프레임워크를 개발하기 위해.
• 특히 데이터가 적은 환경에서 극도의 저장소 제약 조건 하에서도 뛰어난 성능을 보여주기 위해.

제안 방법

• 모든 레이어와 헤드의 가중치 증분 행렬을 통합하여 전체 ViT를 단일 3D 텐서로 텐서화한다.
• 텐서 분해(Tensor-Train 또는 Tucker 형식)를 적용하여 텐서화된 가중치 증분을 경량이고 공유 가능한 구성 요소로 분해한다.
• 학습 중에는 오직 이로 학습된 요소들만 업데이트하고 저장하며, ViT 기반 구조는 동결된 상태로 유지된다.
• 이 프레임워크는 아키텍처에 종속되지 않으며, Swin Transformer를 포함한 다양한 ViT 변종에 적용 가능하다.
• Matrix-Batch 형식을 사용할 경우 LoRA는 FacT의 특수 케이스로 나타난다.
• 이 방법은 가중치 내부의 랭크 중복성(내부 행렬 내)과 가중치 간의 랭크 중복성(레이어 및 헤드 간)을 모두 감소시킨다.

실험 결과

연구 질문

• RQ1 레이어 간 및 헤드 간 중복성을 활용하여, 저랭크 분해를 초월해 미세조정된 ViT의 가중치 증분 행렬을 압축할 수 있는가?
• RQ2 통합된 텐서화-분해 프레임워크는 LoRA나 VPT와 같은 기존 PETL 방법보다 더 높은 파라미터 효율성을 달성할 수 있는가?
• RQ3 파라미터 예산이 감소함에 따라 FacT의 성능은 어떻게 변화하는가? 특히 소수의 샘플이 있는 학습 환경에서 어떻게 변화하는가?
• RQ4 Swin Transformer와 같은 다양한 ViT 아키텍처에 대해 텐서화-분해 프레임워크를 적용하는 것이 가능한가?

주요 결과

• FacT-TT는 NOAH의 19%에 불과한 학습 가능한 파라미터를 사용하면서도 VTAB-1K에서 SOTA 방법인 NOAH와 동등한 성능을 달성한다.
• 단지 8,000개의 학습 가능한 파라미터(0.01% ViT)를 사용하는 FacT의 초소형 버전이 VTAB-1K에서 전체 미세조정 및 VPT, BitFit 등의 방법들을 능가한다.
• 소수의 샘플 학습 환경에서 FacT-TT는 모든 다른 PETL 기반 방법을 능가하며, 데이터 부족 조건에서 뛰어난 일반화 성능을 보여준다.
• MHSA 블록만 텐서화하는 것이 FFN 블록만 텐서화하는 것보다 더 높은 성능을 내며, MHSA + FFN을 모두 텐서화하는 것이 특수화되고 구조화된 작업에 최적임을 확인했다.
• 분해 랭크 r=16에서 성능가 포화 상태에 도달함을 확인하여, 더 높은 랭크는 요소 크기 증가로 인해 수익 감소 효과를 보임을 시사한다.
• Swin-B에서도 효과적이며, FacT-TT 16는 단지 0.135M개의 학습 가능한 파라미터로 평균 정확도 77.4%를 달성하여 VPT-Deep와 BitFit를 능가한다.