[논문 리뷰] SA-CNN: Dynamic Scene Classification using Convolutional Neural Networks

Aalok Gangopadhyay, Shivam Mani Tripathi외 2명|arXiv (Cornell University)|2015. 02. 17.

Video Analysis and Summarization참고 문헌 25인용 수 9

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망(CNN)을 활용해 다수의 영상 프레임에서 공간적 특징을 추출한 후, 시간적 변동성을 모델링하기 위해 통계적 집계(SA) 기법을 적용하는 동적 장면 분류 방법인 SA-CNN을 제안한다. 이 방법은 최신 기술 수준의 성능을 달성하며, 마릴랜드 데이터셋에서 16.16% 향상되고, 유펜 데이터셋에서 1.66% 향상되어 특히 카메라 운동이 심한 조건에서 뛰어난 성능을 보인다.

ABSTRACT

The task of classifying videos of natural dynamic scenes into appropriate classes has gained lot of attention in recent years. The problem especially becomes challenging when the camera used to capture the video is dynamic. In this paper, we analyse the performance of statistical aggregation (SA) techniques on various pre-trained convolutional neural network(CNN) models to address this problem. The proposed approach works by extracting CNN activation features for a number of frames in a video and then uses an aggregation scheme in order to obtain a robust feature descriptor for the video. We show through results that the proposed approach performs better than the-state-of-the arts for the Maryland and YUPenn dataset. The final descriptor obtained is powerful enough to distinguish among dynamic scenes and is even capable of addressing the scenario where the camera motion is dominant and the scene dynamics are complex. Further, this paper shows an extensive study on the performance of various aggregation methods and their combinations. We compare the proposed approach with other dynamic scene classification algorithms on two publicly available datasets - Maryland and YUPenn to demonstrate the superior performance of the proposed approach.

연구 동기 및 목표

• 이동 중인 카메라로 촬영된 영상에서 자연적인 동적 장면을 분류하는 데 도전하는 문제를 해결한다. 이 경우 카메라 운동으로 인해 장면 이해가 복잡해진다.
• 정적 이미지 기반 CNN의 한계를 극복하기 위해, 영상 시퀀스의 시간적 동적 특성을 다수의 영상 프레임 수준 특징의 통계적 집계를 통해 모델링한다.
• 새로운 CNN 아키텍처를 처음부터 훈련하지 않고도 동적 장면 분류의 정확도와 강인성을 향상시킨다.
• 하이브리드 사전 훈련 모델(Imagenet + Places)이 단일 데이터셋 기반 사전 훈련 모델보다 동적 장면 인식에 더 우수한 성능을 보임을 입증한다.
• 기존의 공간-시간 방법들인 BoSE와 C3D보다 우수한 성능을 보이는 계산 효율적인 프레임워크를 구축한다.

제안 방법

• Caffe 프레임워크를 통해 사전 훈련된 모델들(AlexNet, Places, 하이브리드 Places)을 사용해 영상의 다수 프레임에서 깊이 있는 CNN 특징을 추출한다.
• 평균, 표준편차, 왜도, 첨도와 같은 통계적 집계(SA) 기법을 영상 프레임 수준의 특징에 적용하여 시간적 변화를 모델링한다.
• 공간적 통계와 시간적 통계를 후기 융합하여, 외관과 운동 동적 특성을 모두 반영한 강인한 영상 수준의 기술자표현을 구성한다.
• 다양한 풀링 전략과 집계 방법을 평가하여 동적 장면 분류에 최적의 조합을 도출한다.
• 최종 영상 카테고리 예측을 위해 집계된 기술자표현에 단순 선형 분류기(SVM 또는 소프트맥스 등)를 훈련시킨다.
• 비용이 많이 드는 엔드 투 엔드 영상 훈련을 피하기 위해 사전 훈련된 오프더쉐프 CNN을 활용하며, 주로 특징 집계와 분류에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 다수의 영상 프레임에서 추출한 CNN 특징의 통계적 집계는 단일 프레임 기반 또는 局부 특징 기반 방법에 비해 동적 장면 분류 정확도를 향상시키는가?
• RQ2 사전 훈련된 CNN 모델의 선택(Imagenet, Places, 하이브리드)이 동적 장면 분류 작업 성능에 미치는 영향은 어떠한가?
• RQ3 통계적 집계 기법이 영상에서 강한 카메라 운동과 복잡한 장면 동적 특성을 얼마나 잘 처리할 수 있는가?
• RQ4 공간적 특징과 그 시간적 통계를 융합하면 공간적 특징만을 사용할 때보다 더 구분력 있는 영상 수준의 표현을 얻을 수 있는가?
• RQ5 기존의 최신 기술 수준 방법들인 BoSE와 C3D에 비해 표준 벤치마크에서 정확도와 강인성 측면에서 본 논문의 방법은 어떻게 비교되는가?

주요 결과

• 제안된 SA-CNN 방법은 마릴랜드 데이터셋에서 이전 최신 기술 수준 대비 16.16% 정확도 향상을 기록하며, BoSE와 C3D를 크게 앞서는 성능을 보였다.
• 유펜 데이터셋에서는 최신 기술 수준 대비 1.66%의 정확도 향상을 기록했으며, 14개 클래스 중 9개에서 완벽한 분류 성능(100%)을 달성했다.
• 이미지넷과 플레이스를 조합한 하이브리드 사전 훈련 모델이 각각 단독으로 훈련된 모델보다 우수한 성능을 보여, 상보적인 특징 학습이 이루어짐을 시사한다.
• 다수의 영상 프레임에서 특징의 통계적 집계는 특히 프레임 선택이 임의적이거나 노이즈가 많은 경우 분류의 불확실성을 감소시킨다.
• 이 방법은 카메라 운동에 매우 강인하여, 진동이나 강한 카메라 이동이 있는 영상에서도 뛰어난 성능을 유지한다.
• CNN 특징의 시간적 통계(평균, 분산, 왜도, 첨도)는 매우 구분력이 있으며, 유사한 클래스들은 유사한 시간적 변화 패턴을 보인다.