[논문 리뷰] Self-supervised Video Representation Learning by Uncovering Spatio-temporal Statistics

Jiangliu Wang, Jianbo Jiao외 4명|arXiv (Cornell University)|2020. 08. 31.

Human Pose and Action Recognition참고 문헌 82인용 수 23

한 줄 요약

이 논문은 레이블이 없는 영상 클립에서 주로 움직임이 강한 영역과 그 방향, 색상 다양성 또는 안정성이 높은 영역과 그 주된 색상을 포함한 시공간 통계 요약을 드러내는 자기지도 학습 영상 표현 학습 방법을 제안한다. 공간 분할을 통해 대략적인 위치를 인코딩하고, 이러한 추상적 통계를 예측하도록 3D CNN을 훈련시킴으로써, 다양한 백본에서 행동 인식, 영상 검색, 동적 환경 인식, 행동 유사성 레이블링 등 여러 작업에서 최신 기술 수준(SOTA) 성능을 달성한다. C3D에서 이전의 자기지도 학습 방법보다 최대 8.1% 높은 성능을 기록하였다.

ABSTRACT

This paper proposes a novel pretext task to address the self-supervised video representation learning problem. Specifically, given an unlabeled video clip, we compute a series of spatio-temporal statistical summaries, such as the spatial location and dominant direction of the largest motion, the spatial location and dominant color of the largest color diversity along the temporal axis, etc. Then a neural network is built and trained to yield the statistical summaries given the video frames as inputs. In order to alleviate the learning difficulty, we employ several spatial partitioning patterns to encode rough spatial locations instead of exact spatial Cartesian coordinates. Our approach is inspired by the observation that human visual system is sensitive to rapidly changing contents in the visual field, and only needs impressions about rough spatial locations to understand the visual contents. To validate the effectiveness of the proposed approach, we conduct extensive experiments with four 3D backbone networks, i.e., C3D, 3D-ResNet, R(2+1)D and S3D-G. The results show that our approach outperforms the existing approaches across these backbone networks on four downstream video analysis tasks including action recognition, video retrieval, dynamic scene recognition, and action similarity labeling. The source code is publicly available at: https://github.com/laura-wang/video_repres_sts.

연구 동기 및 목표

• 감독 학습 영상 학습의 한계를 해결하기 위해, 비용이 많이 드는 인간 레이블링이 필요하고, 이로 인해 태스크에 특화된 표현이 만들어져 이식성이 떨어지기 때문이다.
• 인간 레이블이 없는 상태에서 일반적이고 이식 가능한 영상 표현을 학습할 수 있는 자기지도 사전 과제를 개발하기 위해이다.
• 밀도 높은 픽셀 수준 예측이 아닌 고수준 통계 요약에 집중함으로써 학습 효율성과 표현 품질을 향상시키기 위해이다.
• 빠른 변화에 민감하고, 군데군데 공간 인식 능력을 갖춘 인간 시각 시스템의 특성을 반영하여, 더 생물학적으로 타당하고 효과적인 표현 학습 목표를 설계하기 위해이다.
• 다양한 최종 작업과 백본 아키텍처를 통해 방법의 타당성을 검증하고, 강건성과 일반화 능력을 입증하기 위해이다.

제안 방법

• 이 방법은 레이블이 없는 영상 클립에서 시공간 통계 요약을 추출하는 새로운 사전 과제를 설계한다. 이에는 움직임이 가장 큰 영역과 그 방향, 색상 다양성 또는 안정성이 가장 높은 영역과 그 주된 색상이 포함된다.
• 정확한 카르테시안 좌표가 아닌, 격자, 무작위 등 여러 분할 패턴을 사용해 공간적 위치를 인코딩함으로써 인간의 인지가 가진 뚜렷하지 않은 공간 인식 능력을 반영한다.
• 입력 영상 프레임에서 이러한 통계 레이블을 예측하도록 3D 컨volution 신경망(예: C3D, 3D-ResNet, R(2+1)D, S3D-G)을 훈련시키며, 요약 정보를 지도 신호로 사용한다.
• 훈련을 용이하게 하고 표현 품질을 향상시키기 위해, 점차 복잡도가 높아지는 공간 분할 패턴을 적용하는 커리큘럼 학습 전략을 도입한다.
• 움직임 통계(예: 운동 강도 및 방향)와 외관 통계(예: 색상 다이나믹한 영역의 주된 색상)를 별도의 브랜치로 훈련시어, 동시 외관과 운동 표현을 학습한다.
• 최종 영상 표현은 네트워크의 최종 레이어에서 추출되며, 미세조정 없이도 최종 작업에 직접 특징으로 사용된다.

실험 결과

연구 질문

• RQ1 레이블이 없는 영상에서 고수준의 시공간 통계 요약을 학습하면 더 일반적이고 이식 가능한 영상 표현을 얻을 수 있는가?
• RQ2 빠른 변화와 뚜렷하지 않은 공간 위치에 대한 인간 시각 시스템의 민감도를 모델링하면 자기지도 영상 표현 학습이 향상되는가?
• RQ3 밀도 높은 예측 기반 자기지도 방법(예: 미래 프레임 예측, 프레임 순서 예측)보다 추상적 통계 요약 기반 사전 과제가 더 우수한 성능을 낼 수 있는가?
• RQ4 이러한 방법은 행동 인식, 영상 검색, 행동 유사성 레이블링과 같은 다양한 최종 작업에 어떻게 일반화되는가?
• RQ5 공간 분할 복잡도를 점진적으로 증가시키는 커리큘럼 학습 전략이 최종 표현 품질 향상에 기여하는가?

주요 결과

• 이 방법은 행동 인식에서 최신 기술 수준 성능을 달성하였으며, C3D에서 이전 SOTA 방법인 Geometry [16]보다 8.1% 높고, R3D-18에서는 6.0%, R(2+1)D에서는 7.4% 높은 성능을 기록하였다.
• 영상 검색 작업에서는 S3D-G 백본을 사용해 Kinetics-400에서 상위 1 정확도 89.4%를 달성하였으며, 이는 이전 자기지도 학습 방법을 능가하는 성능이다.
• 동적 환경 인식 작업에서는 C3D를 사용해 95.0%의 정확도, R(2+1)D를 사용해 94.3%의 정확도를 기록하였으며, 이는 이전 자기지도 학습 및 수작업 특징 방법보다 뚜렷이 뛰어난 성능이다.
• 어려운 ASLAN 행동 유사성 레이블링 벤치마크에서는 R(2+1)D를 사용해 62.1%의 정확도를 기록하며, HOF나 HOG와 같은 수작업 특징보다 뛰어난 새로운 자기지도 SOTA 기준을 수립하였다.
• 이 방법은 강력한 이식성과 함께 높은 성능를 보였으며, C3D, R3D-18, R(2+1)D, S3D-G 등 다양한 백본에서 일관되게 높은 성능를 기록하여 아키텍처 선택에 대해 강건함을 입증하였다.
• 제거 실험을 통해 커리큘럼 학습 전략이 분할 복잡도를 점진적으로 증가시키는 것이 성능 향상에 기여함을 확인하였으며, 점진적 지도 신호 설계의 타당성을 입증하였다.