[논문 리뷰] A Closer Look at Few-Shot Video Classification: A New Baseline and Benchmark

Zhenxi Zhu, Limin Wang외 2명|arXiv (Cornell University)|2021. 10. 24.

Human Pose and Action Recognition참고 문헌 26인용 수 14

한 줄 요약

이 논문은 가중치 인식과 드롭아웃을 적용한 단순한 분류기 기반 베이스라인을 제안하며, 소수의 샘플로 동작 분류를 수행할 때 최신의 메타학습 방법들을 능가한다. 이는 표현 학습이 복잡한 시간적 정렬이 아닌 핵심 과제임을 드러낸다. 또한, 사전 훈련 없이 훈련이 가능한 전용 데이터를 확장한 새로운 벤치마크인 complete-Kinetics를 도입하여, 충분한 데이터가 제공될 경우 성능 향상이 뚜렷하게 이루어짐을 보여준다.

ABSTRACT

The existing few-shot video classification methods often employ a meta-learning paradigm by designing customized temporal alignment module for similarity calculation. While significant progress has been made, these methods fail to focus on learning effective representations, and heavily rely on the ImageNet pre-training, which might be unreasonable for the few-shot recognition setting due to semantics overlap. In this paper, we aim to present an in-depth study on few-shot video classification by making three contributions. First, we perform a consistent comparative study on the existing metric-based methods to figure out their limitations in representation learning. Accordingly, we propose a simple classifier-based baseline without any temporal alignment that surprisingly outperforms the state-of-the-art meta-learning based methods. Second, we discover that there is a high correlation between the novel action class and the ImageNet object class, which is problematic in the few-shot recognition setting. Our results show that the performance of training from scratch drops significantly, which implies that the existing benchmarks cannot provide enough base data. Finally, we present a new benchmark with more base data to facilitate future few-shot video classification without pre-training. The code will be made available at https://github.com/MCG-NJU/FSL-Video.

연구 동기 및 목표

• 기존의 메타학습 방법이 시간적 정렬과 사전 훈련에 얼마나 의존하는지 분석함으로써, 소수의 샘플로 동작 분류를 수행할 때의 효과성을 재평가한다.
• ImageNet에서의 사전 훈련이 새로운 클래스와의 의미적 겹침으로 인해 소수의 샘플 학습 가정을 위반할 수 있는지 조사한다.
• 기존 벤치마크에서 부족한 기본 데이터를 보완하기 위해 더 많은 훈련 샘플을 포함한 새로운 벤치마크를 제안한다.
• 메타학습 방법보다 더 단순하면서도 강력한 베이스라인을 확립하여 표현 학습의 중요성을 부각한다.

제안 방법

• 메타학습이나 시간적 정렬 없이 표준적인 사전 훈련과 미세조정을 통해 훈련하는 선형 분류기와 가중치 인식, 드롭아웃을 적용한 분류기 기반 베이스라인을 제안한다.
• 다양한 시간적 정렬 메커니즘을 가진 여러 메타학습 방법 간의 공정한 비교를 수행하여 표현 학습의 영향을 분리한다.
• Kinetics 데이터셋에서 지도학습 및 자기지도학습(예: MoCo) 사전 훈련의 성능을 평가하여 사전 훈련이 성능 향상에 기여하는 바를 분석한다.
• 기존 Kinetics 데이터셋의 모든 훈련 샘플(49,325개 비디오)을 활용하여 complete-Kinetics 벤치마크를 도입하며, 동일한 검증 및 테스트 분할을 유지한다.
• 모든 방법에 대해 일관된 훈련 및 평가 프로토콜을 적용하여 공정한 비교를 보장하며, 특히 제로샷 및 소수의 샘플 설정에서의 성능을 확보한다.
• ImageNet의 객체 클래스와 새로운 동작 클래스 간의 상관관계를 분석하여, 소수의 샘플 평가에서 사전 훈련 데이터 유출 위험을 정량화한다.

실험 결과

연구 질문

• RQ1 복잡한 시간적 정렬 모듈을 갖추고도 메타학습 기반의 소수의 샘플로 동작 분류 방법이 성능을 저하시키는 이유는 무엇인가?
• RQ2 ImageNet 사전 훈련이 새로운 동작 클래스와의 의미적 겹침으로 인해 성능에 얼마나 영향을 미치는가?
• RQ3 단순한 분류기 기반 방법이 소수의 샘플로 동작 분류에서 최신의 메타학습 접근법을 능가할 수 있는가?
• RQ4 사전 훈련을 사용하지 않을 경우, 기본 훈련 데이터의 가용성이 성능에 얼마나 큰 영향을 미치는가?
• RQ5 소수의 샘플로 동작 분류의 진정한 과제는 시간 모델링인지, 표현 학습인지 무엇인가?

주요 결과

• 가중치 인식과 드롭아웃을 적용한 제안된 분류기 기반 베이스라인은 표준 Kinetics 소수의 샘플 벤치마크에서 모든 최신 메타학습 방법을 능가한다.
• 기존 벤치마크에서 사전 훈련 없이 훈련을 시작할 경우 성능 저하가 심각하게 발생하여, 효과적인 표현 학습을 위한 충분한 기본 데이터가 부족함을 시사한다.
• ImageNet에서의 사전 훈련은 특징 품질 때문만이 아니라, 새로운 동작 클래스와의 의미적 겹침으로 인해 성능 향상을 이끌어내며, 이는 소수의 샘플 학습의 가정을 위반한다.
• 자기지도학습(예: MoCo)을 통한 사전 훈련은 사전 훈련 없이 훈련하는 것보다도 성능 향상을 이끌어내며, 표현 학습이 여전히 핵심 과제임을 확인한다.
• 새로운 complete-Kinetics 벤치마크에서는 사전 훈련 없이도 베이스라인 방법이 큰 성능 향상을 보였지만, 메타학습 방법은 오직 약간의 향상만을 보였다.
• 공정한 비교를 통해 메타학습과 단순한 베이스라인 간의 성능 격차가 좁아지며, 표현 학습이 아키텍처의 복잡성보다 더 중요한 요소임을 시사한다.