[논문 리뷰] Two Stream Self-Supervised Learning for Action Recognition

Ahmed Taha, Moustafa Meshry외 3명|arXiv (Cornell University)|2018. 06. 16.

Human Pose and Action Recognition참고 문헌 3인용 수 6

한 줄 요약

이 논문은 액션 인식을 위한 이중 스트림(self-supervised) 학습 프레임워크를 제안하며, 프레임 순서와 시공간 대응 관계를 포함하는 네 클래스 분류 작업을 통해 공간적 및 시간적 표현을 동시에 학습한다. 이 방법은 HMDB51, UCF101, HDD에서 무작위 초기화 대비 일관된 정확도 향상을 보이며, 특히 긴 꼬리 분포(long-tail distributions)에서 향상된 일반화 능력을 입증한다.

ABSTRACT

We present a self-supervised approach using spatio-temporal signals between video frames for action recognition. A two-stream architecture is leveraged to tangle spatial and temporal representation learning. Our task is formulated as both a sequence verification and spatio-temporal alignment tasks. The former task requires motion temporal structure understanding while the latter couples the learned motion with the spatial representation. The self-supervised pre-trained weights effectiveness is validated on the action recognition task. Quantitative evaluation shows the self-supervised approach competence on three datasets: HMDB51, UCF101, and Honda driving dataset (HDD). Further investigations to boost performance and generalize validity are still required.

연구 동기 및 목표

• 액션 인식에서 레이블이 부족한 비디오 데이터 문제를 해결하기 위해 대규모의 레이블이 없는 비디오를 활용해 사전 학습(pretraining)하는 것.
• 자기지도 학습 방식으로 공간적 특징와 운동 신호를 융합하여 시간적 표현 학습을 향상시키는 것.
• HDD와 같은 긴 꼬리 분포를 가진 데이터셋에서 고주파 수업에 대한 편향을 줄이기 위해 더 나은 특징 학습을 수행하는 것.
• 감독 없이 이중 스트림 아키텍처를 사용하여 시공간 표현 학습의 효과성을 검증하는 것.

제안 방법

• 이중 스트림 신경망 아키텍처를 사용하며, 공간 스트림은 중심 RGB 프레임을 처리하고, 운동 스트림은 여섯 개의 등간격 프레임 간의 차분(차분값의 스택, SOD)을 처리한다.
• 양 스트림의 특징는 fc6 레이어에서 뺄셈을 통해 융합되어 시공간 표현을 생성한다.
• 자기지도 학습 작업은 네 클래스 분류 문제로 정의되며, 운동 시퀀스의 타당성과 프레임과 그 운동 인코딩 간의 시공간 대응 관계를 판단하는 것이다.
• 70 프레임(약 2.5초)의 클립을 샘플링하여 학습하며, 공간 스트림은 ImageNet 사전 학습 가중치로 초기화하고, 운동 스트림은 랜덤 초기화에서 학습을 시작한다.
• 사전 학습된 모델은 추가 애너테이션 없이 최종 액션 인식 데이터셋에서 미세 조정(fine-tuning)된다.

실험 결과

연구 질문

• RQ1 제한된 감독 신호가 있는 데이터셋에서 공간적 및 시간적 표현의 공동 자기지도 학습이 액션 인식 성능 향상에 기여하는가?
• RQ2 제안된 시공간 정렬 작업이 HDD와 같은 긴 꼬리 분포 데이터셋에서 고주파 수업에 대한 편향을 줄이는가?
• RQ3 표준 벤치마크에서 자기지도 사전 학습의 성능이 랜덤 가중치 초기화보다 어떻게 비교되는가?
• RQ4 운동 인코딩을 포함한 이중 스트림 아키텍처가 운동 전용 자기지도 학습 방법에 비해 특징 학습을 얼마나 향상시키는가?

주요 결과

• 자기지도 학습 방법은 HMDB51에서 평균 정확도 33.54%를 달성하여 랜덤 초기화(31.47%) 대비 2.07% 향상되었다.
• UCF101에서 이 방법은 56.25%의 정확도를 기록하여 랜덤 가중치 초기화(52.14%) 대비 4.11% 향상되었다.
• 긴 꼬리 분포를 가진 혼다 드라이빙 데이터셋(HDD)에서 자기지도 학습 방법은 82.78%의 정확도를 기록하여 랜덤 초기화(81.72%)를 초월했으며, 희귀 사건에 대한 편향이 감소했다.
• 학습 손실 곡선을 분석한 결과, ImageNet 사전 학습된 공간 스트림은 작은 데이터셋에서 빠르게 과적합되는 경향을 보였으며, 이는 자기지도 사전 학습이 학습 안정성을 높이는 데 기여함을 시사한다.
• 세 가지 다양한 데이터셋에서 일관된 성능 향상은 제안된 방법의 강건성과 일반화 능력을 입증한다.