[논문 리뷰] Beyond Transfer Learning: Co-finetuning for Action Localisation

Anurag Arnab, Xuehan Xiong외 7명|arXiv (Cornell University)|2022. 07. 08.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 공유 백본을 사용해 여러 상游 비디오 분류 데이터셋과 하위 작업인 액션 로컬라이제이션 작업(AVA/AVA-Kinetics)을 동시에 미세조정하는 co-finetuning이라는 훈련 전략을 제안한다. 이는 교차 데이터셋 특징 전이와 정규화를 통해 희귀 클래스에서의 성능 향상에 기여하며, 복잡한 아키텍처를 사용하는 전통적인 전이 학습에 비해 우수한 성능을 달성한다. 이 방법은 AVA에서 36.1 mAP, AVA-Kinetics에서 36.2 mAP를 기록하여 최신 기술(SOTA)을 달성한다.

ABSTRACT

Transfer learning is the predominant paradigm for training deep networks on small target datasets. Models are typically pretrained on large ``upstream'' datasets for classification, as such labels are easy to collect, and then finetuned on ``downstream'' tasks such as action localisation, which are smaller due to their finer-grained annotations. In this paper, we question this approach, and propose co-finetuning -- simultaneously training a single model on multiple ``upstream'' and ``downstream'' tasks. We demonstrate that co-finetuning outperforms traditional transfer learning when using the same total amount of data, and also show how we can easily extend our approach to multiple ``upstream'' datasets to further improve performance. In particular, co-finetuning significantly improves the performance on rare classes in our downstream task, as it has a regularising effect, and enables the network to learn feature representations that transfer between different datasets. Finally, we observe how co-finetuning with public, video classification datasets, we are able to achieve state-of-the-art results for spatio-temporal action localisation on the challenging AVA and AVA-Kinetics datasets, outperforming recent works which develop intricate models.

연구 동기 및 목표

• 전통적인 전이 학습의 한계를 해결하기 위해, 모델이 하나의 상유 데이터셋에서 사전 훈련되고 하위 작업에 대해 미세조정되는 방식에서 비롯된 문제를 다루기 위해.
• AVA 및 AVA-Kinetics와 같은 장꼬리 분포 액션 로컬라이제이션 데이터셋에서 희귀 클래스에 특히 과적합이 발생하기 쉬운 문제를 개선하기 위해.
• 여러 상유 분류 데이터셋에서 동시에 훈련하는 것이 모델의 정규화에 기여하고 하위 작업에 대한 특징 전이를 향상시키는지 탐구하기 위해.
• 외부 메모리나 그래프 기반 모델링에 의존하는 복잡한 아키텍처보다 단순한 모델에 수정된 훈련 전략을 적용할 경우 더 우수한 성능을 낼 수 있음을 입증하기 위해.
• 공개된 약한 레이블이 부여된 비디오 데이터셋(예: Kinetics, Moments in Time, SSv2, Instagram)을 사용한 co-finetuning에서 다양한 상유 데이터셋의 선택이 액션 로컬라이제이션 성능에 미치는 영향을 평가하기 위해.

제안 방법

• Co-finetuning은 하나의 모델을 동시에 여러 상유 비디오 분류 데이터셋(Kinetics, Moments in Time, Something-Something V2 등)과 하위 작업인 액션 로컬라이제이션 데이터셋(AVA 또는 AVA-Kinetics)에서 훈련한다.
• 훈련 목표는 상유 데이터셋의 분류 손실과 하위 작업 데이터셋의 검출 손실을 조합하여, 공유 백본과 작업별 전용 헤드를 사용한다.
• 이 방법은 여러 상유 데이터셋의 더 큰 규모와 다양성을 활용하여 모델의 정규화를 도모하며, 특히 하위 작업 데이터셋의 희귀 클래스에 유리하게 작용한다.
• 외부 메모리나 그래프 신경망과 같은 복잡한 구성 요소 없이 표준 검출 아키텍처(ViViT 등)를 사용하며, 오직 훈련 전략에 집중한다.
• 성능 향상을 위해 대규모 데이터셋(WTS, 6000만 개의 비디오)에서의 사전 훈련을 수행하며, co-finetuning은 초기 단계부터 적용된다.
• 추론은 단일 뷰에서 수행되며, 정확도 향상을 위해 공간 해상도를 증가시킨다(예: 512px), 이는 이미지 검출 관행과 일관된다.

실험 결과

연구 질문

• RQ1 여러 상유 비디오 분류 데이터셋에서 동시에 훈련하는 것이 기존의 전이 학습에 비해 하위 작업인 액션 로컬라이제이션 작업에서 성능 향상에 기여하는가?
• RQ2 Co-finetuning은 AVA와 같이 장꼬리 분포를 띠는 데이터셋에서 희귀 클래스에 특히 유리한 정규화 효과를 제공하는가?
• RQ3 상유 데이터셋의 선택(Kinetics 대비 Moments in Time 대비 SSv2)이 co-finetuning에서 하위 작업 성능에 어떤 영향을 미치는가?
• RQ4 공개된 약한 레이블이 부여된 비디오 데이터셋을 사용한 co-finetuning이 복잡한 모델 아키텍처 없이도 최신 기술 성능을 달성할 수 있는가?
• RQ5 분류 작업에서 학습된 특징 표현이 액션 로컬라이제이션의 더 복잡한 검출 작업으로 얼마나 잘 전이되는가?

주요 결과

• Kinetics, Moments in Time, 그리고 Something-Something V2를 사용한 co-finetuning은 AVA에서 36.1 mAP로 성능 향상을 이끌었으며, 최신 기술 성능을 달성했다.
• AVA-Kinetics에서 36.2 mAP를 기록하여 이 벤치마크에서 가장 높은 알려진 성능을 달성했다.
• 희귀 클래스(Tail 및 Mid)에서 뚜렷한 성능 향상이 관찰되었으며, co-finetuning이 과적합을 줄이는 정규화 효과를 발휘했다.
• WTS 사전 훈련(6000만 개의 비디오)을 co-finetuning에 적용하면 성능이 추가로 향상되어 기준 모델 대비 mAP가 0.9% 향상되었다.
• Kinetics가 표준 선택임에도 불구하고, Moments in Time이 액션 로컬라이제이션에 대해 Kinetics보다 더 효과적인 상유 데이터셋으로 밝혀졌다.
• 모델은 동시에 비디오 분류와 액션 로컬라이제이션을 수행하며, 상유 분류 벤치마크에서 경쟁 가능한 정확도를 달성했다.