[논문 리뷰] Learning Self-Similarity in Space and Time as Generalized Motion for Action Recognition

Heeseung Kwon, Manjin Kim외 2명|arXiv (Cornell University)|2021. 02. 14.

Human Pose and Action Recognition참고 문헌 64인용 수 4

한 줄 요약

이 논문은 영상의 움직임을 모델링하기 위해 국소 영역을 공간적 및 시간적 이웃과의 관계적 유사성으로 표현함으로써 시공간 자기유사성(Spatio-Temporal Self-Similarity, STSS)을 학습하는 신경 블록 SELFY를 제안한다. 감독 없이 전체 STSS 볼륨을 종단 간(end-to-end)으로 활용함으로써, 장거리 상호작용과 빠른 움직임을 효과적으로 포착하여 Something-Something-V1/V2, Diving-48, FineGym에서 최신 기준 성능을 달성한다.

ABSTRACT

Spatio-temporal convolution often fails to learn motion dynamics in videos and thus an effective motion representation is required for video understanding in the wild. In this paper, we propose a rich and robust motion representation based on spatio-temporal self-similarity (STSS). Given a sequence of frames, STSS represents each local region as similarities to its neighbors in space and time. By converting appearance features into relational values, it enables the learner to better recognize structural patterns in space and time. We leverage the whole volume of STSS and let our model learn to extract an effective motion representation from it. The proposed neural block, dubbed SELFY, can be easily inserted into neural architectures and trained end-to-end without additional supervision. With a sufficient volume of the neighborhood in space and time, it effectively captures long-term interaction and fast motion in the video, leading to robust action recognition. Our experimental analysis demonstrates its superiority over previous methods for motion modeling as well as its complementarity to spatio-temporal features from direct convolution. On the standard action recognition benchmarks, Something-Something-V1 & V2, Diving-48, and FineGym, the proposed method achieves the state-of-the-art results.

연구 동기 및 목표

• 영상에서 움직임 동역학을 모델링하는 데 있어 시공간 컨벌루션의 한계를 해결하기 위해.
• 직접적인 외관 특징을 초월하여 공간과 시간에서의 구조적 패턴을 포착하는 움직임 표현을 개발하기 위해.
• 보조 감독 없이 자기유사성 기반으로 움직임 표현을 종단 간 학습할 수 있도록 하기 위해.
• 관계적 특징 학습을 통해 장기적 상호작용과 빠른 움직임을 모델링하여 행동 인식의 강건성을 향상시키기 위해.

제안 방법

• 지역 영역과 그 이웃들 사이의 유사도를 계산하여 시공간 자기유사성(STSS) 표현을 구성한다.
• 외관 특징가 유사도 계산을 통해 관계적 값으로 변환되어 영상 볼륨 내에서 구조적 패턴을 학습할 수 있도록 한다.
• 전체 STSS 볼륨을 처리하고 효과적인 움직임 표현을 추출하기 위해 SELFY라는 신경 블록을 설계한다.
• SELFY는 미분 가능하며 기존 신경망 아키텍처에 통합되어 보조 감독 없이 종단 간 학습이 가능하다.
• 장거리 의존성과 빠른 움직임 역학을 모델링하기 위해 충분히 큰 공간적·시간적 이웃을 활용한다.
• STSS 표현은 주 네트워크와 함께 공동으로 학습되어 움직임 관련 패턴에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 공간적 및 시간적 자기유사성이 영상 행동 인식을 위한 일반적이고 강건한 움직임 표현으로 기능할 수 있는가?
• RQ2 자기지도 학습 기반 STSS 표현이 영상에서 장기적 상호작용과 빠른 움직임을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 STSS가 전통적인 시공간 컨벌루션 특징과 행동 인식에서 얼마나 잘 보완되는가?
• RQ4 STSS 기반 신경 블록이 기존 아키텍처에 통합되어 보조 감독 없이 종단 간 학습이 가능한가?

주요 결과

• 제안된 방법은 Something-Something-V1 및 V2 벤치마크에서 최신 기준 성능을 달성하여 뛰어난 움직임 모델링 능력을 입증한다.
• Diving-48 데이터셋에서도 새로운 최신 기준 성능을 기록하여 복잡한 행동 인식에서의 효과성을 입증한다.
• FineGym 벤치마크에서도 최신 기준 성능을 달성하여 다양한 행동 카테고리에 걸쳐 강건함을 확인한다.
• STSS 표현은 장기적 상호작용과 빠른 움직임을 효과적으로 포착하여 기준 방법 대비 인식 정확도를 향상시킨다.
• 시공간 컨벌루션 특징과 강력한 보완성을 보이며, 독특하고 유의미한 움직임 패턴을 학습하고 있음을 시사한다.