[논문 리뷰] Video Contents Understanding using Deep Neural Networks

Mohammadhossein Toutiaee, Abbas Keshavarzi외 2명|arXiv (Cornell University)|2020. 04. 29.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 7

한 줄 요약

이 논문은 사전 훈련된 VGG-19 및 고유의 CNN 모델을 사용하여 영상 프레임에서 교통 혼잡도 수준(낮음, 보통, 높음)을 분류하는 전이 학습 기반 영상 분류 프레임워크를 제안한다. 이는 빗자국, dense 안개와 같은 열악한 시각 조건에서도 YOLO9000 및 Google Video Intelligence API와 같은 객체 탐지 기반 방법보다 뛰어난 정확도를 달성한다.

ABSTRACT

We propose a novel application of Transfer Learning to classify video-frame sequences over multiple classes. This is a pre-weighted model that does not require to train a fresh CNN. This representation is achieved with the advent of "deep neural network" (DNN), which is being studied these days by many researchers. We utilize the classical approaches for video classification task using object detection techniques for comparison, such as "Google Video Intelligence API" and this study will run experiments as to how those architectures would perform in foggy or rainy weather conditions. Experimental evaluation on video collections shows that the new proposed classifier achieves superior performance over existing solutions.

연구 동기 및 목표

• dense 안개 및 비와 같은 열악한 기상 조건에서 시각 품질이 낮은 영상에서 교통 혼잡도 수준을 분류하는 데 도전하는 것.
• 이미지 열화 조건에서 실패하는 고전적인 운동 기반 및 통계 모델의 한계를 극복하여, 철저한 매개변수 조정이 필요로 하는 모델의 필요성을 줄이는 것.
• 새로운 CNN을 처음부터 훈련하는 것을 피하기 위해 사전 훈련된 깊은 신경망을 활용하여 영상 분류 시스템을 개발하는 것.
• 존재하는 방법들이 시각적으로 유사한 클래스인 '보통'과 '고밀도' 교통 간의 분류 정확도를 향상시키기 위해, 겹치는 외관 및 차량 수로 인해 어려움을 겪는 문제를 해결하는 것.
• 사전 훈련된 모델을 사용한 전이 학습이 최소한의 하이퍼파rameter 조정과 계산 비용으로도 최신 기술 수준의 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 새로운 CNN을 처음부터 훈련하지 않기 위해, 사전 훈련된 VGG-19와 5층의 고유 CNN을 특징 추출기로 활용한다.
• VGG-19의 버블넥 레이어(fc2)와 CNN의 마지막 완전 연결 레이어에서 전이 값(transfer values)을 추출하여, 프레임당 25,088차원 및 12,544차원의 특징 벡터를 생성한다.
• 이러한 고차원 전이 값을 디스크에 저장하여 분류 과정에서 재계산이 필요 없도록 한다.
• 잠재 공간에서 클래스 간 분리 가능성 해석을 가능하게 하기 위해, 차원 감소를 위한 주성분 분석(PCA)을 사용하며, 여기서 n=2로 설정한다.
• 추출된 특징을 기반으로 감소된 전이 값에 대해 분류기를 훈련하여 교통 혼잡도 수준(낮음, 보통, 높음)을 예측한다.
• 실제 도로 영상 데이터셋에서 이미지 품질이 떨어지고 기상 조건이 열악한 상황에서 객체 탐지 기반 방법(YOLO9000 및 Google Video Intelligence API)과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 열악한 시각 조건에서 사전 훈련된 깊은 신경망을 사용한 전이 학습이 객체 탐지 기반 접근법보다 교통 혼잡도 수준 분류 정확도를 높일 수 있는가?
• RQ2 VGG-19와 고유의 CNN이 안개, 비, 저해상도 등으로 열화된 영상 프레임에 대해 기존의 통계적 또는 운동 기반 모델보다 얼마나 잘 일반화되는가?
• RQ3 특징 공간에서 '보통'과 '고밀도' 교통 클래스가 어느 정도 겹치는가? 시각적으로 유사한 조건에서도 모델이 이들을 신뢰성 있게 구분할 수 있는가?
• RQ4 사전 훈련된 모델을 사용할 경우, 새로운 CNN을 처음부터 훈련하는 것보다 하이퍼파rameter 조정과 훈련 시간이 크게 줄어드는가?
• RQ5 PCA는 고차원 전이 특징 공간에서 영상 분류 작업의 클래스 간 분리 가능성 시각화에 얼마나 효과적인가?

주요 결과

• VGG-19 전이 학습 모델은 98.50%의 분류 정확도를 달성하여 최신 기술 수준의 KL-SVM 방법(94.50%)을 크게 앞서 갔다.
• 제안된 방법은 영상 열화에 매우 강건했으며, 객체 탐지 모델이 실패하는 안개나 비가 온 날씨 조건에서도 높은 정확도를 유지했다.
• YOLO9000는 프레임 전반에 걸쳐 더 많은 차량을 탐지했지만, Google Video Intelligence API는 더 사용자 친화적이었다. 그러나 양측 모두 VGG-19 전이 학습 모델에 비해 성능이 열 劣했다.
• 고유의 CNN 모델은 양호한 성능를 보였지만, 더 단순한 아키텍처와 더 적은 파라미터로 인해 VGG-19에 비해 낮은 정확도를 보였다.
• PCA 시각화 결과, '낮음' 교통 클래스는 '보통' 및 '고밀도' 클래스와 명확히 분리되어 있었으며, '보통'과 '고밀도' 클래스는 부분적으로 겹쳐져 있어 분류가 도전적이지만 극복 가능함을 시사했다.
• 전이 학습 접근법은 새로운 CNN을 처음부터 훈련하는 것보다 훨씬 적은 하이퍼파rameter 조정과 계산 비용으로도 최신 기술 수준의 성능을 달성했다.