[논문 리뷰] Side4Video: Spatial-Temporal Side Network for Memory-Efficient Image-to-Video Transfer Learning

Huanjin Yao, Wenhao Wu외 1명|arXiv (Cornell University)|2023. 11. 27.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

Side4Video는 백본을 통해 역전파하지 않고 대규모 고결정 이미지 모델(예: ViT-E, 4.4B 파라미터)을 비디오 이해 작업으로 전이할 수 있는 메모리 효율적인 공간-시간 측면 네트워크를 도입한다. 다중 수준의 특징과 메모리 효율적인 시간 컨볼루션 및 [CLS] 토큰 이동과 같은 최적화된 구성 요소를 활용함으로써 어댑터 기반 방법 대비 75%의 메모리 사용 감소를 달성하며, 여러 비디오 벤치마크에서 최신 기술 수준의 성능을 기록한다. 이는 Something-Something V2에서 74.6%의 정확도와 VATEX에서 68.8%의 정확도를 기록한 바 있다.

ABSTRACT

Large pre-trained vision models achieve impressive success in computer vision. However, fully fine-tuning large models for downstream tasks, particularly in video understanding, can be prohibitively computationally expensive. Recent studies turn their focus towards efficient image-to-video transfer learning. Nevertheless, existing efficient fine-tuning methods lack attention to training memory usage and exploration of transferring a larger model to the video domain. In this paper, we present a novel Spatial-Temporal Side Network for memory-efficient fine-tuning large image models to video understanding, named Side4Video. Specifically, we introduce a lightweight spatial-temporal side network attached to the frozen vision model, which avoids the backpropagation through the heavy pre-trained model and utilizes multi-level spatial features from the original image model. Extremely memory-efficient architecture enables our method to reduce 75% memory usage than previous adapter-based methods. In this way, we can transfer a huge ViT-E (4.4B) for video understanding tasks which is 14x larger than ViT-L (304M). Our approach achieves remarkable performance on various video datasets across unimodal and cross-modal tasks (i.e., action recognition and text-video retrieval), especially in Something-Something V1&V2 (67.3% & 74.6%), Kinetics-400 (88.6%), MSR-VTT (52.3%), MSVD (56.1%) and VATEX (68.8%). We release our code at https://github.com/HJYao00/Side4Video.

연구 동기 및 목표

• 대규모 사전 학습된 이미지 모델을 비디오 이해 작업에 맞게 미세조정할 때 발생하는 높은 계산 비용과 메모리 소비 문제를 해결하기 위해.
• ViT-E(4.4B 파라미터)와 같은 매우 큰 비전 모델을 전체 미세조정이 불가능한 비디오 작업으로 효율적으로 전이할 수 있도록 하기 위해.
• 고정된 비전 트랜스포머 백본을 통해 역전파를 제거함으로써 파rameter 효율적인 미세조정에서 메모리 사용량을 줄이기 위해.
• 시간적 추론을 향상시키면서도 메모리 프로파일을 최소화하는 아키텍처 구성 요소를 탐색하고 최적화하기 위해.
• 대규모 고정 이미지 모델을 사용하여 단일 모odal(행동 인식) 및 크로스 모달(텍스트-비디오 검색) 비디오 벤치마크에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 고정된 비전 트랜스포머(ViT) 백본에 경량 공간-시간 측면 네트워크를 부착하며, 고정 모델에서 유도된 다중 수준의 공간적 특징을 수신한다.
• 측면 네트워크는 시간 컨볼루션, 공간 자기주의, 피드포워드 네트워크를 포함한 분할된 공간-시간 모듈을 사용하여 비디오 표현을 학습한다.
• 메모리 효율성을 높이기 위해 측면 네트워크에서 [CLS] 토큰을 제거하고, 메모리 효율적인 시간 컨볼루션을 적용하며, 개선된 시간 모델링을 위해 [CLS] 토큰 이동을 도입한다.
• 특징 융합은 간격 기반 전략을 통해 수행되며, ViT 인코더의 매 2번째 레이어에서 특징을 통합함으로써 표현 학습을 향상시킨다.
• 최종 비디오 표현은 글로벌 평균 풀링(GAP)을 사용하여 도출되며, 성능과 메모리 효율성 간의 최적 균형을 달성한다.
• 측면 네트워크의 모델 복잡도와 메모리 사용량은 레이어 수(l)와 히든 차원(d) 조절을 통해 제어되며, 메모리 제약 하에서 더 높은 d가 깊이(l)보다 더 효과적이다.

실험 결과

연구 질문

• RQ1 ViT-E(4.4B 파라미터)와 같은 대규모 고정 이미지 모델이 전체 미세조정 없이도 비디오 이해 작업에 효과적이고 효율적으로 전이될 수 있는가?
• RQ2 메모리 소비를 줄이기 위해 무거운 사전 학습된 ViT 백본을 통해 역전파를 피할 수 있는 방법은 무엇인가?
• RQ3 측면 네트워크의 아키텍처 선택, 예를 들어 특징 융합 전략, 시간 모듈 유형, 표현 집계 방식 등 중 어떤 것이 성능 향상에 가장 효과적이면서도 메모리 사용을 최소화하는가?
• RQ4 ViT-L 대비 더 큰 모델인 ViT-E로 이미지 백본을 확장하면 비디오 벤치마크에서 성능 향상이著명한가?
• RQ5 고정된 모델을 통해 기울기 흐름을 피하는 측면 네트워크 설계가 다양한 비디오 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Side4Video는 어댑터 기반 방법 대비 GPU 메모리 사용량을 75% 감소시켜 ViT-E와 같은 대규모 모델의 비디오 작업에서 효율적인 미세조정을 가능하게 한다.
• Something-Something V2에서 Side4Video는 74.6%의 상위-1 정확도를 기록했으며, 이는 이전 방법보다 정확도 2.2% 향상에 더해 메모리 사용량도 75% 감소시켰다.
• MSR-VTT에서의 텍스트-비디오 검색 작업에서는 Recall@1이 52.3%로 CLIP4Clip 대비 1.1% 향상되었고, 메모리 사용량은 30% 감소시켰다.
• ViT-E/14(ViT-L/14보다 14.5배 더 크다)를 사용할 경우, Side4Video는 MSVD(56.1%)와 VATEX(68.8%)에서 새로운 최신 기술 수준 성능을 기록했으며, 이는 이전 최신 기술 수준 성능 대비 각각 4.3%와 2.2% 향상된 결과이다.
• 절단 실험 결과, 매 2단계 레이어에서 특징 융합을 하는 간격 기반 전략이 최상위 레이어 융합 대비 정확도 0.7% 향상되었으며, GAP 기반 표현은 최소한의 메모리 비용으로 최고의 성능를 기록했다.
• 동일한 메모리 제약 조건 하에서 측면 네트워크의 히든 차원(d)을 늘리는 것이 레이어 수(l)를 늘리는 것보다 더 효과적이며, 4층, 320-d 모델이 12층, 128-d 모델보다 성능이 뛰어나다.