[논문 리뷰] Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models

Qiong Wu, Wei Yu외 4명|arXiv (Cornell University)|2023. 09. 04.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각-언어 사전학습 모델(VLP)을 위한 파라미터 및 계산 효율적인 전이학습(PCETL) 방법인 동적 아키텍처 스킵(DAS)을 제안한다. DAS는 강화학습을 사용하여 추론 중에 불필요한 트랜스포머 모듈을 식별하고 건너뛰며, 특징 적응을 위해 경량 어댑터를 삽입함으로써 VQA2.0에서 성능을 손상시키지 않고 최대 19.23% 빠른 추론과 11.97% 적은 FLOPs를 달성한다.

ABSTRACT

With ever increasing parameters and computation, vision-language pre-trained (VLP) models exhibit prohibitive expenditure in downstream task adaption. Recent endeavors mainly focus on parameter efficient transfer learning (PETL) for VLP models by only updating a small number of parameters. However, excessive computational overhead still plagues the application of VLPs. In this paper, we aim at parameter and computation efficient transfer learning (PCETL) for VLP models. In particular, PCETL not only needs to limit the number of trainable parameters in VLP models, but also to reduce the computational redundancy during inference, thus enabling a more efficient transfer. To approach this target, we propose a novel dynamic architecture skipping (DAS) approach towards effective PCETL. Instead of directly optimizing the intrinsic architectures of VLP models, DAS first observes the significances of their modules to downstream tasks via a reinforcement learning (RL) based process, and then skips the redundant ones with lightweight networks, i.e., adapters, according to the obtained rewards. In this case, the VLP model can well maintain the scale of trainable parameters while speeding up its inference on downstream tasks. To validate DAS, we apply it to two representative VLP models, namely ViLT and METER, and conduct extensive experiments on a bunch of VL tasks. The experimental results not only show the great advantages of DAS in reducing computational complexity, e.g. -11.97% FLOPs of METER on VQA2.0, but also confirm its competitiveness against existing PETL methods in terms of parameter scale and performance. Our source code is given in our appendix.

연구 동기 및 목표

• 기존의 파라미터 효율적 전이학습(PETL) 방법에도 불구하고, 대규모 시각-언어 사전학습(VLP) 모델을 다운스트림 작업에 맞게 미세조정할 때 발생하는 높은 계산 비용을 해결하기 위해.
• 사전학습된 VLP 모델 내에서 불필요한 모듈을 식별하고 건너뛰어 추론 중인 파라미터 및 계산 오버헤드를 줄이기 위해.
• 작업별 모듈 중요도 기반 동적 서브넷 라우팅을 통해 성능을 유지하면서 추론 속도를 크게 향상시키기 위해.
• 기존 PETL 접근 방식의 한계를 극복하고, 파라미터 효율성과 계산 효율성을 동시에 확보하는 효율적인 전이학습을 가능하게 하기 위해.

제안 방법

• DAS는 모듈 스킵을 k-armed 밴딧 문제로 프레임워크링하여, 강화학습(RL)을 사용해 다운스트림 작업에 대해 각 시각-언어(VL) 모듈의 중요도를 평가한다.
• RL 에이전트는 누적 보상 기반으로 어떤 트랜스포머 레이어를 스킵할지 선택하여 추론 중 최적의 서브넷으로 모델을 동적으로 라우팅한다.
• 불필요한 모듈는 경량 어댑터와 스킵 연결로 대체되어 계산을 줄이면서도 특징 적응 능력을 유지한다.
• 이 방법은 PETL 방법과 유사한 고정된 수의 학습 가능한 파라미터를 유지하여 파라미터 효율성을 확보한다.
• DAS는 재학습이나 아키텍처 재설계 없이 사전학습 후에 작동하므로, 이미 잘 학습된 VLP 모델에 적용 가능하다.
• 검색 과정은 모듈 중복성 추정 기반 보상 함수에 의해 유도되며, 결과는 작업별 라우팅 패턴을 확인하기 위해 시각화된다.

실험 결과

연구 질문

• RQ1 동적 아키텍처 스킵 메커니즘이 추론 중에 시각-언어 사전학습 모델의 계산 중복을 줄일 수 있는가?
• RQ2 DAS의 성능은 기존 PETL 방법들에 비해 파라미터 효율성과 추론 속도 측면에서 어떻게 비교되는가?
• RQ3 DAS는 어떤 정도로 FLOPs를 줄이고 추론 속도를 높일 수 있으며, 동시에 시각-언어 작업에서 경쟁력 있는 정확도를 유지할 수 있는가?
• RQ4 모듈 스킵의 작업별 패턴은 무엇이며, 이는 다양한 VL 작업의 의미적 요구를 어떻게 반영하는가?

주요 결과

• DAS는 VQA2.0 작업에서 METER에 대해 FLOPs를 11.97% 감소시켜 뚜렷한 계산 절감 효과를 입증한다.
• DAS는 전체 미세조정 대비 추론 속도를 19.23% 향상시켜 추론 효율성에서 조차 표준 PETL 방법을 초월한다.
• 세 개의 시각-언어 작업에서 DAS는 계산 오버헤드를 줄이면서도 경쟁력 있는 성능을 유지하여 PCETL에서의 효과성을 입증한다.
• 강화학습 기반의 모듈 선택 과정은 학습 초반에 불필요한 레이어를 성공적으로 식별하였으며, 진동 후 안정화되는 중복성 추정치를 보였다.
• 작업별 서브넷이 발견되었다: VQA는 중간 수준의 언어 모듈을 스킵하는 경향이 있었고, NLVR는 상단 수준의 언어 레이어를 스킵하는 경향이 있었으며, 이는 작업의 의미적 특성과 부합했다.
• DAS는 파라미터 효율성과 계산 효율성 사이의 유리한 트레이드오���을 달성하였으며, 전체 모델 대비 추론 속도를 향상시키는 유일한 PETL 방법이었다.