[论文解读] FacT: Factor-Tuning for Lightweight Adaptation on Vision Transformer

Shibo Jie, Zhihong Deng|arXiv (Cornell University)|Dec 6, 2022

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出FacT，一种用于视觉Transformer的参数高效微调方法，通过张量化与分解将权重增量分解为低秩张量，实现极高的参数效率。在VTAB-1K上仅使用8K个可训练参数（ViT的0.01%）即达到SOTA性能，优于全参数微调和现有PETL方法，尤其在少样本设置下表现更优。

ABSTRACT

Recent work has explored the potential to adapt a pre-trained vision transformer (ViT) by updating only a few parameters so as to improve storage efficiency, called parameter-efficient transfer learning (PETL). Current PETL methods have shown that by tuning only 0.5% of the parameters, ViT can be adapted to downstream tasks with even better performance than full fine-tuning. In this paper, we aim to further promote the efficiency of PETL to meet the extreme storage constraint in real-world applications. To this end, we propose a tensorization-decomposition framework to store the weight increments, in which the weights of each ViT are tensorized into a single 3D tensor, and their increments are then decomposed into lightweight factors. In the fine-tuning process, only the factors need to be updated and stored, termed Factor-Tuning (FacT). On VTAB-1K benchmark, our method performs on par with NOAH, the state-of-the-art PETL method, while being 5x more parameter-efficient. We also present a tiny version that only uses 8K (0.01% of ViT's parameters) trainable parameters but outperforms full fine-tuning and many other PETL methods such as VPT and BitFit. In few-shot settings, FacT also beats all PETL baselines using the fewest parameters, demonstrating its strong capability in the low-data regime.

研究动机与目标

• 为解决在现实应用中需为每个用户或任务存储模型时全参数微调的存储低效问题。
• 在视觉Transformer微调过程中，同时利用权重内部与权重之间的秩冗余性。
• 开发一种参数高效迁移学习（PETL）框架，使可训练参数量超越当前最先进方法。
• 在极端存储约束下展示强性能，尤其在低数据场景下。

提出的方法

• 通过将所有层和头的权重增量矩阵合并，将整个ViT张量化为一个单一的3D张量。
• 应用张量分解（张量-Train或Tucker格式）将张量化后的权重增量分解为轻量级共享组件。
• 仅在微调过程中更新和存储这些学习到的因子，而ViT主干网络保持冻结。
• 该框架与架构无关，可应用于多种ViT变体，包括Swin Transformer。
• 当使用Matrix-Batch格式时，LoRA被证明是FacT的一个特例。
• 该方法同时减少了权重内部秩冗余（在矩阵内部）和权重之间秩冗余（在层与头之间）。

实验结果

研究问题

• RQ1 能否通过利用层间与头间冗余性，将微调后ViT的权重增量矩阵压缩程度超越低秩分解？
• RQ2 统一的张量化-分解框架是否能实现比现有PETL方法（如LoRA或VPT）更高的参数效率？
• RQ3 FacT的性能如何随参数预算减少而变化，尤其是在少样本学习场景下？
• RQ4 是否可行将张量化-分解框架应用于不同ViT架构，如Swin Transformer？

主要发现

• FacT-TT在VTAB-1K上的性能与SOTA方法NOAH相当，但仅使用NOAH 19%的可训练参数。
• 仅含8K个可训练参数（ViT的0.01%）的极小版本FacT，在VTAB-1K上优于全参数微调以及VPT和BitFit等方法。
• 在少样本学习中，FacT-TT超越所有其他PETL基线方法，展现出在数据稀缺条件下的优越泛化能力。
• 仅张量化MHSA模块的性能优于仅张量化FFN模块，而全张量化（MHSA + FFN）在特定和结构化任务中表现最优。
• 性能在分解秩r=16时达到饱和，表明更高秩仅带来边际收益，因因子尺寸增加导致效率下降。
• 该方法在Swin-B上同样有效，FacT-TT 16仅使用0.135M个可训练参数即达到77.4%的平均准确率，优于VPT-Deep和BitFit。