[논문 리뷰] Turbo Training with Token Dropout

Tengda Han, Weidi Xie외 1명|arXiv (Cornell University)|2022. 10. 10.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 희소하게 샘플된 시공간 토큰을 사용하여 마스크된 자동에코딩 손실과 최종 작업 손실을 동시에 최적화함으로써 비디오 작업에 대한 비전 트랜스포머 훈련을 위한 계산 효율적인 패러다임인 Turbo 훈련을 제안한다. 이 방법은 액션 분류, 비디오-언어 학습, 장시간 비디오 활동 인식에서 경쟁력 있는 성능을 유지하면서도 거의 4배 빠른 훈련 속도와 메모리 사용 감소를 달성하여 이전에는 불가능했던 종단 간 장시간 비디오 훈련을 가능하게 한다.

ABSTRACT

The objective of this paper is an efficient training method for video tasks. We make three contributions: (1) We propose Turbo training, a simple and versatile training paradigm for Transformers on multiple video tasks. (2) We illustrate the advantages of Turbo training on action classification, video-language representation learning, and long-video activity classification, showing that Turbo training can largely maintain competitive performance while achieving almost 4X speed-up and significantly less memory consumption. (3) Turbo training enables long-schedule video-language training and end-to-end long-video training, delivering competitive or superior performance than previous works, which were infeasible to train under limited resources.

연구 동기 및 목표

• 장시간 비디오 데이터에서 비전 트랜스포머를 훈련할 때 발생하는 높은 계산 비용과 메모리 사용을 해결함으로써 연구 진전을 저해하고 접근성을 제한하는 문제를 해결한다.
• 특히 제한된 하드웨어 자원을 가진 연구자들에게도 적용 가능한 장시간 훈련 스케줄과 자원 요구량의 한계를 극복한다.
• 사전에 추출된 특징 또는 이중 단계 훈련 파이프라인 없이도 비전 트랜스포머를 장시간 비디오에서 종단 간 훈련할 수 있도록 한다.
• 비디오 데이터의 冗잔시를 활용하여 훈련 중 처리하는 토큰 수를 극적으로 줄이면서도 성능를 유지한다.
• 마스크된 자동에코딩과 최종 작업 최적화를 통한 공동 사전 훈련이 최소한의 계산 오버헤드로 강력한 표현을 생성할 수 있음을 입증한다.

제안 방법

• 훈련 중에 희소 토큰 드롭아웃을 적용하여 시공간 토큰의 높은 비율(최대 90%)을 마스킹하고, 마스크된 자동에코더를 통해 재구성한다.
• 다중 작업 목적함수를 사용해 종단 간 훈련을 수행한다: 자기지도 학습을 위한 마스크된 자동에코딩 손실과 표준 최종 작업 손실(예: 교차 엔트로피 또는 대비 손실)을 동시에 최적화한다.
• 각 훈련 스텝에서 고정된 마스킹 비율을 사용하며, 프레임 샘플링은 비디오의 처음과 마지막 20%로 제한하여 핵심 순간을 보장한다.
• 입력 길이가 다를 경우(예: 16, 32, 64 프레임)에도 동일한 수의 가시 패치를 유지하기 위해 마스킹 비율을 조정하여 계산 비용과 시간적 맥락의 균형을 맞춘다.
• 단일 최적화 루프 내에서 마스크된 자동에코딩과 최종 작업 감독을 동시에 사용하여 비전 트랜스포머 인코더를 훈련함으로써 공동 특징 학습을 가능하게 한다.
• 비디오 데이터의 본질적 레이턴시를 활용하여 전체 신호를 재구성하는 데 필요한 토큰의 희소 부분만으로도 성능 저하 없이 효율적인 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 마스크된 자동에코딩 목적함수와 최종 작업 감독을 결합하면 계산 비용을 극적으로 줄이면서도 비디오 이해 작업에서 경쟁력 있는 성능를 유지할 수 있는가?
• RQ2 예를 들어 87.5% 마스킹과 같은 토큰 드롭아웃이 액션 분류나 비디오-언어 정렬과 같은 장시간 비디오 작업에서 표현 품질을 어느 정도 유지할 수 있는가?
• RQ3 터보 훈련은 사전에 추출된 특징이나 이중 단계 파이프라인 없이도 장시간 비디오에서 트랜스포머의 종단 간 훈련을 가능하게 할 수 있는가?
• RQ4 마스크된 자동에코딩을 사용할 때 입력의 시간적 범위(예: 16프레임 대비 64프레임)가 다양한 마스킹 비율과 함께 성능에 어떤 영향을 미치는가?
• RQ5 터보 훈련을 통한 공동 비디오-언어 사전 훈련은 사전에 추출된 특징에 의존하거나 별도의 사전 훈련 단계를 사용하는 방법보다 더 고품질의 표현을 생성하는가?

주요 결과

• 터보 훈련은 여러 비디오 작업에서 경쟁력 있는 성능를 유지하면서도 거의 4배 빠른 훈련 속도와 뚜렷한 메모리 절감을 달성한다.
• Breakfast 데이터셋에서 32프레임 입력과 75% 마스킹 비율(F32)을 사용한 터보 훈련은 91.3%의 정확도를 기록하여 사전에 추출된 특징을 사용한 이전의 이중 단계 방법(89.9%)을 초월했다.
• COIN 데이터셋에서 터보 훈련은 32프레임 입력으로 87.5%의 정확도를 달성했으며, 이는 이중 단계 훈련 파이프라인을 사용한 최신 기술(88.9%)과 유사한 성능를 보였다.
• 이 방법은 장시간 비디오에서 종단 간 훈련을 가능하게 했으며, HTM-AA 데이터셋에서 이전 접근 방식보다 비디오-언어 정렬 성능이 뛰어나(MIL-NCE: 31.3, IP: 22.0) 보였다.
• 16프레임에서 32프레임으로 프레임 수를 늘리면 성능이 향상되었지만(88.2%에서 91.3%로), 64프레임으로 늘여 87.5% 마스킹 비율을 적용하면 성능이 떨어져 높은 마스킹 비율이 핵심 동작을 놓칠 수 있음을 시사했다.
• 터보 훈련을 통한 공동 비디오-언어 사전 훈련은 높은 품질의 임bedding을 생성했으며, TAN 벤치마크에서 49.4%의 정렬 정확도를 기록하여 사전에 추출된 특징에 의존하는 방법을 뛰어넘었다.