[논문 리뷰] Fully-Coupled Two-Stream Spatiotemporal Networks for Extremely Low Resolution Action Recognition

Mingze Xu, Aidean Sharghi외 2명|arXiv (Cornell University)|2018. 01. 11.

Human Pose and Action Recognition참고 문헌 29인용 수 7

한 줄 요약

이 논문은 극도로 저해상도 영상(12×16 픽셀)에서 동작 인식을 위한 완전히 결합된 이중 스트림 공간-시간 CNN 아키텍처를 제안한다. 이는 누적된 광학 흐름, 3D 컨볼루션(C3D), 그리고 GRU 네트워크를 활용하여 국소적이고 장거리 시간 동적 특징을 모델링한다. 이 방법은 사전 훈련 없이도 기존 작업 대비 7.2% 향상된 정확도를 달성하여 최신 기술 수준(SOTA)을 확립한다.

ABSTRACT

A major emerging challenge is how to protect people's privacy as cameras and computer vision are increasingly integrated into our daily lives, including in smart devices inside homes. A potential solution is to capture and record just the minimum amount of information needed to perform a task of interest. In this paper, we propose a fully-coupled two-stream spatiotemporal architecture for reliable human action recognition on extremely low resolution (e.g., 12x16 pixel) videos. We provide an efficient method to extract spatial and temporal features and to aggregate them into a robust feature representation for an entire action video sequence. We also consider how to incorporate high resolution videos during training in order to build better low resolution action recognition models. We evaluate on two publicly-available datasets, showing significant improvements over the state-of-the-art.

연구 동기 및 목표

• 영상 감시에서의 개인정보 보호 문제를 해결하기 위해 데이터 무결성을 최소화하면서도 동작 인식 능력을 유지한다.
• 공간적 세부 정보가 심각하게 손상된 극도로 저해상도 영상(예: 12×16 픽셀)에서 인간 행동을 인식하는 데 도전한다.
• 저해상도 영상 시퀀스에서 공간적 외관과 시간적 운동 신호를 효과적으로 포착하는 딥 러닝 프레임워크를 개발한다.
• 고해상도 영상 훈련을 통해 교차 도메인 특징 변환을 학습함으로써 모델 일반화 능력을 향상시킨다.
• 다양한 수준의 시간 모델링을 통합한 강력하고 종단 간 아키텍처를 설계하여 저품질 영상에서의 동작 인식 성능을 향상시킨다.

제안 방법

• RGB 프레임과 누적된 밀도 광학 흐름 필드를 별도의 분기로 갖는 이중 스트림 네트워크를 사용하여 공간적 및 운동적 특징을 독립적으로 캡처한다.
• 짧은 영상 클립(국소적 시간 모델링)에서 압축된 공간-시간 특징을 추출하기 위해 3D 컨volution 신경망(C3D)을 사용한다.
• 전체 영상 시퀀스를 거쳐 C3D 특징를 처리함으로써 장거리 시간 의존성을 모델링하기 위해 게이트드 순환 단위(GRU) 네트워크를 통합한다.
• 고해상도 및 저해상도 특징 학습 경로 간에 파라미터를 공유하는 완전히 결합된 아키텍처를 구현하여 훈련 중 고해상도 데이터로부터 지식 전이를 가능하게 한다.
• 합성, 최대 풀링, 또는 컨볼루션 병합보다 우수한 성능을 달성하기 위해 두 스트림 브랜치의 특징을 합산 병합(sum fusion) 방식으로 융합한다.
• 특징 학습 효율성과 성능을 향상시키기 위해 Sport-1M 데이터셋에서 사전 훈련된 C3D 모델을 활용한다. 특히 데이터가 적은 환경에서 유의미한 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 완전히 결합된 이중 스트림 공간-시간 네트워크는 공간적 및 운동적 신호를 조합함으로써 극도로 저해상도 영상(12×16 픽셀)에서 동작을 효과적으로 인식할 수 있는가?
• RQ2 훈련 중 고해상도 영상을 통합할 경우 저해상도 동작 인식 모델의 성능 향상에 어떤 기여를 하는가?
• RQ3 3D 컨볼루션을 통한 국소적 공간-시간 특징와 RNN을 통한 장거리 시간 모델링 간의 상대적 기여도는 무엇인가?
• RQ4 다양한 융합 전략(합산, 최대 풀링, 연결, 컨볼루션)은 이중 스트림 아키텍처에서 최종 인식 정확도에 어떤 영향을 미치는가?
• RQ5 저해상도 동작 인식 작업에 대해 피니팅할 때 고해상도 데이터셋에서의 사전 훈련이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 사전 훈련된 C3D를 사용하여 HMDB51 데이터셋에서 44.96%의 정확도를 달성하였으며, 이는 이전 최신 기술 수준(37.70% for Multi-Siamese Embedding CNN)보다 7.2% 향상된 성과이다.
• 사전 훈련 없이도 모델은 HMDB51에서 41.04%의 정확도를 기록하여 이전 최신 기술 수준보다 3.3% 높은 성능을 보이며 강력한 일반화 능력을 입증한다.
• DogCentric 데이터셋에서 모델은 73.19%의 정확도를 달성하였으며, 이는 이전 최신 기술 수준(69.43% for Multi-Siamese Embedding CNN)보다 3.7% 향상된 결과이다.
• GRU 구성 요소는 두 개의 완전 연결 층으로 대체할 경우 약 4.5%의 정확도 향상을 기록하며, 장거리 시간 모델링의 중요성을 입증한다.
• 이중 스트림 아키텍처는 공간적 특징만 사용하는 단일 스트림 모델 대비 4.2% 향상된 성능을 기록하였고, 시간적 특징만 사용할 경우 19.2% 향상된 성능를 기록하여 운동 인코딩의 가치를 확인한다.
• 스트림 특징의 합산 병합이 모든 평가 설정에서 최고의 성능를 기록하였으며, 최대 풀링, 연결, 또는 컨볼루션 병합보다 뛰어난 성능를 보였다.