[논문 리뷰] Extreme Low Resolution Activity Recognition with Multi-Siamese Embedding Learning

Michael S. Ryoo, Kiyoon Kim외 1명|arXiv (Cornell University)|2017. 08. 03.

Anomaly Detection Techniques and Applications인용 수 22

한 줄 요약

이 논문은 극단적 저해상도(16x12) 인간 활동 인식을 위한 이중 스트림 다중 시아네스 CNN을 제안하며, 동일한 고해상도 비디오의 다양한 저해상도 변환 하에서의 표현을 통합하기 위해 변환에 강인한 비디오 임베딩을 명시적으로 모델링한다. 이 방법은 기존 접근 방식보다 8% 이상 높은 성능을 기록하여, 16x12 HMDB 데이터셋에서 두 스트림 특징을 사용해 37.70%의 정확도를 달성한다.

ABSTRACT

This paper presents an approach for recognizing human activities from extreme low resolution (e.g., 16x12) videos. Extreme low resolution recognition is not only necessary for analyzing actions at a distance but also is crucial for enabling privacy-preserving recognition of human activities. We design a new two-stream multi-Siamese convolutional neural network. The idea is to explicitly capture the inherent property of low resolution (LR) videos that two images originated from the exact same scene often have totally different pixel values depending on their LR transformations. Our approach learns the shared embedding space that maps LR videos with the same content to the same location regardless of their transformations. We experimentally confirm that our approach of jointly learning such transform robust LR video representation and the classifier outperforms the previous state-of-the-art low resolution recognition approaches on two public standard datasets by a meaningful margin.

연구 동기 및 목표

• 하나의 고해상도 소스에서 유도된 저해상도 비디오 클립들 간의 해상도 변환에 따라 픽셀 값이 극적으로 변하는 극단적 저해상도 비디오(예: 16x12)에서 인간 활동을 인식하는 데 도전하는 것.
• 얼굴 식별을 방지할 수 있도록 익명화된 저해상도 비디오 데이터를 사용해 프라이버시를 보호하는 활동 인식을 가능하게 하는 것.
• 기존 방법들이 변환된 저해상도 비디오를 독립적인 샘플로 간주함으로써 일반화 능력이 떨어지는 문제를 해결하는 것.
• 저해상도 변환(예: 이동, 회전, 스케일링)에 대해 불변인 강건한 비디오 표현과 분류기를 함께 학습하는 것.
• 표준 벤치마크(예: HMDB 및 DogCentric)에서 극단적 저해상도 환경에서 뛰어난 성능을 보여주는 것.

제안 방법

• 동일한 고해상도 소스에서 유도된 다수의 저해상도 비디오 클립을 위한 공유 임베딩 공간을 학습하기 위해 이중 스트림 다중 시아네스 컨volution 신경망을 설계한다.
• 동일한 콘텐츠의 서로 다른 저해상도 변환 하에서의 특징 임베딩이 임베딩 공간 내에서 가까워지도록 보장하기 위해 시아네스 아키텍처를 사용한다.
• 학습 중에 다양한 저해상도 변환(예: 서브픽셀 이동)을 통한 데이터 증강을 적용하여 실제 저해상도 변동을 시뮬레이션한다.
• 동일한 콘텐츠를 가진 저해상도 클립에 대해 동일한 임베딩을 유도하기 위해 대비 손실을 사용하여 비디오 표현과 분류기를 함께 최적화한다.
• 두 스트림 아키텍처에서 광학 흐름 특징을 활용하며, 엣지 장치에서 실시간 추론을 위한 효율적인 Farneback 알고리즘을 사용한다.
• 고해상도 비디오 데이터셋(예: YouTube)에서 학습하고, 하류 인식을 위해 저해상도 버전에서 미세조정한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 동일한 고해상도 소스에서 유도된 저해상도 비디오에 대해 공유된 변환에 강인한 임베딩 공간을 학습할 수 있는가?
• RQ2 서브픽셀 변환에 대한 불변성을 명시적으로 모델링하면 극단적 저해상도 환경에서의 인식 정확도가 향상되는가?
• RQ3 제안된 다중 시아네스 임베딩 학습은 저해상도 활동 인식에서 표준 데이터 증강 및 기준 CNN 대비 어떻게 비교되는가?
• RQ4 HMDB 및 DogCentric와 같은 다양한 데이터셋에서 극단적 저해상도(16x12) 조건에서도 모델의 일반화 능력은 어떻게 되는가?
• RQ5 NVIDIA Jetson TX2와 같은 엣지 하드웨어에서 모델의 실시간 추론 성능는 어떠한가?

주요 결과

• 제안된 방법은 16x12 HMDB 데이터셋에서 37.70%의 정확도를 기록하여 이전 최고 성능보다 8% 이상 높게 달성한다.
• DogCentric 데이터셋에서는 69.43%의 정확도를 기록하여 이전 작업들인 ISR(67.36%) 및 PoT(64.6%)를 크게 뛰어넘는다.
• Hardcore Henry 데이터셋에서 이진 이벤트 검출 F1 스코어는 0.885로, 기준 모델(0.838)과 데이터 증강(0.871)을 모두 초월한다.
• NVIDIA Jetson TX2 GPU에서 약 50 fps로 실시간으로 실행되어 실용적인 구현 가능성을 입증한다.
• 공유 임베딩 학습을 통한 다중 시아네스 접근 방식은 표준 데이터 증강 대비 특정 저해상도 변환에 대한 과적합을 줄인다.
• 광학 흐름과 공간 피ラ미드 풀링을 결합한 이중 스트림 아키텍처는 인간의 외형이 작은 상황에서도 성능 향상을 더욱 강력하게 이끈다.