[논문 리뷰] Skip-Clip: Self-Supervised Spatiotemporal Representation Learning by Future Clip Order Ranking

Alaaeldin El-Nouby, Shuangfei Zhai외 2명|arXiv (Cornell University)|2019. 10. 28.

Human Pose and Action Recognition참고 문헌 21인용 수 12

한 줄 요약

Skip-Clip는 전체 프레임 예측이 필요 없이 시간적 일관성을 활용하여 미래 비디오 클립을 기준 클립에 대해 순서 매기는 3D CNN을 훈련시켜 자기지도 학습 기반의 시공간 표현 학습 방법을 제안한다. UCF101에서 행동 인식 작업에서 64.4%의 top-1 정확도를 기록하며, 무작위 초기화 대비 51.8% 향상되고 ImageNet 확장 가중치를 초월하여 강력한 전이 가능성과 최신 자기지도 학습 방법들과 경쟁 가능한 성능을 입증한다.

ABSTRACT

Deep neural networks require collecting and annotating large amounts of data to train successfully. In order to alleviate the annotation bottleneck, we propose a novel self-supervised representation learning approach for spatiotemporal features extracted from videos. We introduce Skip-Clip, a method that utilizes temporal coherence in videos, by training a deep model for future clip order ranking conditioned on a context clip as a surrogate objective for video future prediction. We show that features learned using our method are generalizable and transfer strongly to downstream tasks. For action recognition on the UCF101 dataset, we obtain 51.8% improvement over random initialization and outperform models initialized using inflated ImageNet parameters. Skip-Clip also achieves results competitive with state-of-the-art self-supervision methods.

연구 동기 및 목표

• 비디오 애너테이션의 높은 비용을 해결하기 위해 비디오 내 시간적 일관성을 활용하는 자기지도 학습 방법을 개발한다.
• 기존의 프레임 순서 정렬 및 미래 예측 사전 과제의 한계를 극복하여, 순환적 또는 대칭적인 동작로 인해 발생할 수 있는 모호하거나 노이즈가 많은 지도 신호를 방지한다.
• 회귀 예측 및 대비 학습과 같은 보조 목표와 함께 맥락 인식 순서 정렬을 통합하여 학습된 표현의 일반화 능력을 향상시킨다.
• 사전 훈련에 레이블이 없는 비디오 데이터만을 사용하여 다운스트림 행동 인식 작업에 대해 강력한 전이 성능를 입증한다.
• 큰 규모의 사전 훈련 데이터셋인 Kinetics와 같은 데이터셋에 의존하지 않고도 단순한 맥락 조건 기반 순서 정렬 목표로도 경쟁 가능한 성능를 달성할 수 있음을 보여준다.

제안 방법

• 비디오에서 기준 클립과 미래 클립의 집합을 샘플링하고, 3D CNN을 사용해 기준 클립을 바탕으로 미래 클립의 상대적 순서를 순서 매기도록 훈련한다.
• 정렬 목표를 사용해 각 미래 클립의 정확한 상대적 위치를 예측하도록 유도하여 모델이 시간적 역학과 운동 패턴을 학습하도록 한다.
• 특징 품질 향상과 잠재적 정답 해법 방지를 위해 타겟 인코더에 보조적인 회전 예측 헤드를 추가한다.
• 양성 미래 클립과 다른 클립에서 온 음성 샘플 간에 대비 손실을 적용하여 특징의 구분 능력을 향상시킨다.
• 표준 지도 학습을 사용해 전역 평균 풀링과 소프트맥스 분류기를 적용해 다운스트림 행동 인식 작업에서 기준 클립 인코더를 미세 조정한다.
• 모델은 3D ResNet-18 백본을 사용하며, 16프레임 클립을 112×112 크기로 자르고, Adam 옵timizer와 학습률 감소 전략을 적용해 훈련한다.

실험 결과

연구 질문

• RQ1 기준 클립에 대해 미래 클립의 순서를 정렬하는 자기지도 사전 과제가 랜덤 또는 ImageNet 초기화보다 더 일반화 가능한 시공간 표현을 제공할 수 있는가?
• RQ2 회귀 예측 및 대비 학습과 같은 보조 목표와 맥락 인식 순서 정렬을 조합하면 표현 품질과 다운스트림 성능가 향상되는가?
• RQ3 시간적 패턴이 모호한 경우, 프레임 순서 정렬 또는 미래 예측에 기반한 다른 자기지도 학습 방법과 비교해 Skip-Clip는 얼마나 더 강건한가?
• RQ4 UCF101과 같은 작은 데이터셋에서 사전 훈련한 방법이 Kinetics와 같은 대규모 데이터셋에서 사전 훈련한 모델과 경쟁 가능한 성능를 낼 수 있는가?
• RQ5 기존의 프레임 순서 정렬 또는 미래 예측 과제에 비해 제안된 순서 기반 접근 방식은 얼마나 더 모호한 지도 신호를 줄일 수 있는가?

주요 결과

• Skip-Clip는 UCF101에서 행동 인식 작업에서 64.4%의 top-1 정확도를 기록하며, 무작위 초기화 대비 51.8% 향상되었다.
• 일반적으로 비디오 표현 학습에서 강력한 기준선으로 여겨지는 확장된 ImageNet 가중치로 초기화된 모델보다 성능이 뛰어나다.
• 회전 보조 목표를 추가하면 성능이 3.6% 향상되어, 이는 잠재적 정답 해법 방지 및 특징 품질 향상에 기여함을 시사한다.
• 회전 및 대비 손실을 모두 포함한 전체 모델은 64.4%의 정확도를 기록하며, 2D CNN 기반 자기지도 학습 방법 전부를 초월하고 최신 기술과 경쟁 가능한 성능를 보였다.
• UCF101에서만 사전 훈련한 점을 감안할 때, 3DCubicPuzzles와 비슷한 성능를 달성했으며, Kinetics에서 사전 훈련한 방법들보다도 동일한 데이터셋에서 비교했을 때 성능가 뛰어나다.
• 제거 실험 결과, 순서 정렬, 회전, 대비 학습의 조합이 최적 성능를 내기 위해 필수적임을 확인했으며, 각 구성 요소가 최종 결과에 크게 기여하고 있음을 입증했다.