[논문 리뷰] Unsupervised Learning of Video Representations via Dense Trajectory Clustering

Pavel Tokmakov, Martial Hebert외 1명|arXiv (Cornell University)|2020. 06. 28.

Human Pose and Action Recognition참고 문헌 45인용 수 16

한 줄 요약

이 논문은 클러스터링 기반 학습 프레임워크에서 비지도 사전 지식으로 개선된 밀도 트레이ектор리(IDT)를 활용하는 새로운 비지도 비디오 표현 학습 방법을 제안한다. IDT 특징 공간에서 비디오를 클러스터링하고, 비모수적 분류 손실을 통해 3D 컨볼루션 네트워크를 공동으로 미세조정함으로써 운동에 민감한 표현을 학습한다. 이 방법은 UCF101과 HMDB51에서 이전의 자기지도 학습 방법들을 능가하며, 64프레임 입력 시 UCF101에서 83.0%의 정확도와 HMDB51에서 90.7%의 정확도를 달성한다.

ABSTRACT

This paper addresses the task of unsupervised learning of representations for action recognition in videos. Previous works proposed to utilize future prediction, or other domain-specific objectives to train a network, but achieved only limited success. In contrast, in the relevant field of image representation learning, simpler, discrimination-based methods have recently bridged the gap to fully-supervised performance. We first propose to adapt two top performing objectives in this class - instance recognition and local aggregation, to the video domain. In particular, the latter approach iterates between clustering the videos in the feature space of a network and updating it to respect the cluster with a non-parametric classification loss. We observe promising performance, but qualitative analysis shows that the learned representations fail to capture motion patterns, grouping the videos based on appearance. To mitigate this issue, we turn to the heuristic-based IDT descriptors, that were manually designed to encode motion patterns in videos. We form the clusters in the IDT space, using these descriptors as a an unsupervised prior in the iterative local aggregation algorithm. Our experiments demonstrates that this approach outperform prior work on UCF101 and HMDB51 action recognition benchmarks. We also qualitatively analyze the learned representations and show that they successfully capture video dynamics.

연구 동기 및 목표

• 3D 컨볼루션 네트워크에서 외관 신호의 지배로 인해 운동 패턴을 포착하지 못하는 기존 자기지도 비디오 표현 학습 방법의 한계를 해결하기 위해.
• 이미지 수준의 자기지도 목표 함수—예측 인스턴스 식별 및 국소 집합—을 비디오 영역으로 확장하기 위해.
• 클러스터링 기반 학습 과정에 히우리스틱 기반 IDT 기반 서술자로 비지도 사전 지식을 통합하여 운동 모델링을 향상시키기 위해.
• 완전 미세조정 및 소수의 샘플 설정에서 표준 행동 인식 벤치마크(UKF101 및 HMDB51)에서 제안된 방법의 효과성을 평가하기 위해.
• 학습된 표현이 외관을 초월해 비디오의 역학을 얼마나 잘 포착하는지 정량적·정성적으로 분석하기 위해.

제안 방법

• 각 비디오를 고유한 클래스로 간주하고 교차 엔트로피 손실을 사용해 3D 컨볼루션 네트워크를 훈련시킴으로써 비디오에 대해 인스턴스 식별 목표를 적응한다.
• K-평균을 사용해 비디오 특징을 반복적으로 클러스터링하고 비모수적 분류 손실을 통해 네트워크를 업데이트함으로써 비디오에 대해 국소 집합 방법을 확장한다.
• 초기 비디오 클러스터를 정의하기 위해 운동에 민감한 특징 공간으로서 개선된 밀도 트레이잭터리(IDT)를 사용하여 시간적 구조에 대한 비지도 사전 지식을 제공한다.
• 3D 컨볼루션 네트워크를 먼저 고정된 IDT 클러스터에서 훈련한 후, 반복적인 국소 집합 프레임워크를 사용해 IDT 및 딥 특징 공간에서 공동으로 미세조정한다.
• 라벨이 없는 Kinetics에서 모델을 사전 훈련한 후, 행동 인식 평가를 위해 UCF101과 HMDB51에서 미세조정한다.
• 비교를 위한 강력한 베이스라인으로 IDT 서술자의 피셔 벡터 인코딩을 사용한다.

실험 결과

연구 질문

• RQ1 이미지 표현 학습에서 유래한 분류 기반 자기지도 목표 함수가 비디오 표현 학습에 효과적으로 적용될 수 있는가?
• RQ2 표준 클러스터링 기반 목표 함수가 비디오 학습에서 왜 운동 패턴을 포착하지 못하는가? 그리고 이미지 수준의 방법과의 성능 격차는 무엇에 기인하는가?
• RQ3 IDT와 같은 히우리스틱 기반 비디오 서술자로 비지도 사전 지식을 제공하는 것이 3D 컨볼루션 네트워크 학습과 운동 모델링을 향상시키는 데 효과적인가?
• RQ4 IDT 기반 클러스터링과 엔드 투 엔드 3D 컨볼루션 네트워크 학습을 결합하면 이전 자기지도 학습 방법보다 더 나은 행동 인식 성능을 달성할 수 있는가?
• RQ5 학습된 클러스터가 단지 외관이나 환경 신호가 아니라 비디오 역학을 어느 정도 반영하는가?

주요 결과

• 64프레임 입력 시퀀스를 사용할 경우, 제안된 방법은 UCF101에서 83.0%의 정확도와 HMDB51에서 90.7%의 정확도를 달성하며, 동일한 3D ResNet18 아키텍처를 사용한 모든 이전 자기지도 학습 방법을 능가한다.
• HMDB51에서, 더 깊은 네트워크를 사용한 CBT보다도 성능의 비율에 따라 15.0%포인트 높은 성능을 기록함으로써 최신 기술(CBT)을 초월한다.
• 16프레임 버전의 방법은 UCF101에서 CBT보다 4.4%포인트 높은 성능을 기록하고, HMDB51에서는 15.0%포인트 높은 성능을 기록함으로써 강력한 일반화 능력을 보여준다.
• DPC가 더 깊은 3D ResNet34와 더 긴 120프레임 시퀀스를 사용하더라도, IDT 사전 지식의 효과성 덕분에 제안된 방법이 DPC를 능가한다.
• 정성적 분석 결과, 학습된 클러스터가 단지 외관이 아닌 운동 역학에 따라 비디오를 그룹화하며, 일반적으로 다른 환경에서 동일한 동작이 클러스터에 속하는 경향이 있음을 확인했다.
• 64프레임 모델은 전체 길이의 IDT 서술자 성능(UCF101에서 85.9%)에 2.9% 내로 접근하며, IDT 사전 지식을 통한 엔드 투 엔드 훈련이 수작업 서술자 성능에 도달할 수 있음을 시사한다.