[논문 리뷰] CNNs for Surveillance Footage Scene Classification

Utkarsh Contractor, Chinmayi Dixit외 1명|arXiv (Cornell University)|2018. 09. 08.

Anomaly Detection Techniques and Applications참고 문헌 16인용 수 4

한 줄 요약

이 논문은 CAVIAR 및 i-LIDS 데이터셋에서 전이 학습을 활용하여 감시 영상 프레임을 분류하여 버려진 짐을 탐지하기 위한 CNN 기반 접근법을 제안한다. ResNet 및 DenseNet 등의 아키텍처를 미세조정하여 98%의 정확도를 달성하였으며, 시각화 지도 분석 결과 모델이 객체 특성보다 환경적 맥락에 더 의존함을 확인하여 일반화 능력은 제한되지만 특정 환경에서는 높은 성능을 발휘함을 확인하였다.

ABSTRACT

In this project, we adapt high-performing CNN architectures to differentiate between scenes with and without abandoned luggage. Using frames from two video datasets, we compare the results of training different architectures on each dataset as well as on combining the datasets. We additionally use network visualization techniques to gain insight into what the neural network sees, and the basis of the classification decision. We intend that our results benefit further work in applying CNNs in surveillance and security-related tasks.

연구 동기 및 목표

• 이상 이벤트(예: 버려진 짐) 탐지에 있어 인간의 노동과 실수를 줄이기 위해 감시 영상 분석의 자동화에 도전한다.
• 배경 차분 또는 운동 추적에 의존하는 기존 방법의 한계를 극복한다. 이러한 방법들은 환경 변화에 민감하고 일반화 능력이 떨어진다.
• 제한된 데이터로 특정 감시 환경에 맞게 미세조정 가능한 딥 러닝 기반 솔루션을 개발한다.
• 카메라 각도, 해상도, 배경 복잡도의 변동에도 불구하고 CNN이 버려진 짐을 효과적으로 탐지할 수 있는지 조사한다.
• 시각화 기법을 통해 모델의 의사결정 과정을 이해하여, 객체 특성에 기반한 학습인지 또는 환경 수준의 패턴에 의존하는지 평가한다.

제안 방법

• CAVIAR 및 i-LIDS 두 감시 데이터셋에서 사전 훈련된 CNN 아키텍처(ResNet, DenseNet, VGG)를 미세조정하여, 버려진 짐이 있는 프레임과 없는 프레임에 중점을 두고 훈련한다.
• 개별 데이터셋과 병합된 데이터셋에서 각각 모델을 훈련하여 성능과 환경 간 일반화 능력을 평가한다.
• 다양한 훈련 데이터를 확보하고 모델의 강건성을 향상시키기 위해 데이터 증강 기법(예: 무작위 자르기, 뒤집기)을 적용한다.
• 기울기 기반 시각화를 사용하여 시각화 지도를 생성하여 모델의 주의 집중 영역과 분류 결정에 영향을 준 이미지 영역을 분석한다.
• 클래스 활성화 지도 및 네트워크 시각화를 활용하여 모델이 객체를 탐지했는지 아니면 배경 이상 현상에 영향을 받았는지 분석한다.
• 실제 운영 환경에서의 신뢰성을 평가하기 위해 정확도, 거짓 양성 및 거짓 음성 비율을 사용하여 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터로 사전 훈련된 CNN을 감시 영상에서 버려진 짐 탐지에 효과적으로 미세조정할 수 있는가?
• RQ2 CAVIAR 및 i-LIDS 데이터셋을 별도로 훈련한 경우와 둘을 병합하여 훈련한 경우의 모델 성능는 어떻게 다를까?
• RQ3 시각화 지도가 모델이 짐 객체를 탐지했는지 아니면 배경 환경 특성에 영향을 받았는지를 어느 정도 드러내는가?
• RQ4 거짓 양성 및 거짓 음성 예측의 원인은 무엇이며, 이는 시각적 맥락이나 이미지 이상 현상과 어떤 관련이 있는가?
• RQ5 한 환경에서 훈련된 모델이 다른 환경으로 일반화 가능한가, 아니면 환경 특화된 패턴에 의존하는가?

주요 결과

• 모델은 병합된 데이터셋에서 98%의 높은 정확도를 달성하여, 제한된 감시 데이터로 미세조정을 통해 강력한 성능을 낼 수 있음을 입증하였다.
• 짐이 다른 정적 물체 근처에 있거나 부분적으로 가려져 있을 경우 거짓 음성이 발생하여 깊이 인식 및 공간 인식 능력의 한계를 보였다.
• 거짓 양성은 카메라 플래시나 조명 변화와 같은 배경 이상 현상으로 자주 발생하여, 모델이 비현실적인 환경 수준의 패턴을 학습했다는 것을 시사한다.
• 시각화 지도 분석 결과, 모델이 대부분의 이미지 영역을 활성화하는 경향이 있었으며, 특히 동적인 장면에서는 더욱 두드러져, 모델이 국소적 객체 특성보다 전체 환경 맥락에 의존함을 확인하였다.
• 클래스 시각화 결과, 모델이 일반화 가능한 객체 특성보다는 환경 특화된 패턴을 학습했음을 확인하여, 다양한 환경 간 일반화 능력이 떨어지는 이유를 설명할 수 있었다.
• 제한된 데이터에도 불구하고 데이터 증강이 모델의 강건성을 크게 향상시키고 균형 잡힌 입력 분포를 만들며, 훈련 안정성과 성능 향상에 기여하였다.