[논문 리뷰] Fully Convolutional Neural Networks for Crowd Segmentation

Kai Kang, Xiaogang Wang|arXiv (Cornell University)|2014. 11. 17.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 122

한 줄 요약

이 논문은 한 번의 순방향 전파로 전체 이미지를 처리하여 패치 단위 스캔이 필요 없도록 하는 완전 컨볼루션 신경망(FCNN)을 제안한다. 다단계 및 융합 기반 훈련을 통해 외관, 운동, 구조적 특징을 융합함으로써, 새로 제작된 두 개의 대규모 군중 세분화 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 시티 데이터셋에서 AUC 점수가 최대 0.9761에 이를 수 있다.

ABSTRACT

In this paper, we propose a fast fully convolutional neural network (FCNN) for crowd segmentation. By replacing the fully connected layers in CNN with 1 by 1 convolution kernels, FCNN takes whole images as inputs and directly outputs segmentation maps by one pass of forward propagation. It has the property of translation invariance like patch-by-patch scanning but with much lower computation cost. Once FCNN is learned, it can process input images of any sizes without warping them to a standard size. These attractive properties make it extendable to other general image segmentation problems. Based on FCNN, a multi-stage deep learning is proposed to integrate appearance and motion cues for crowd segmentation. Both appearance filters and motion filers are pretrained stage-by-stage and then jointly optimized. Different combination methods are investigated. The effectiveness of our approach and component-wise analysis are evaluated on two crowd segmentation datasets created by us, which include image frames from 235 and 11 scenes, respectively. They are currently the largest crowd segmentation datasets and will be released to the public.

연구 동기 및 목표

• 고밀도 공공 감시 환경에서 실시간 정확한 군중 세분화 문제를 해결한다.
• 패치 단위로 CNN 추론을 수행할 경우 발생하는 계산 비효율성을 해결하기 위해 완전 컨볼루션 아키텍처를 제안한다.
• 외관, 운동, 구조적 에지와 같은 다수의 특징을 통합한 유일한 딥 러닝 프레임워크를 통해 세분화의 강건성을 향상시킨다.
• 미래 연구를 지원하기 위해 두 개의 대규모 다양성 있는 군중 세분화 데이터셋(235개 및 11개 카메라 뷰)을 제작하고 공개한다.
• 다양한 데이터로 훈련하고 새로운 환경에서 테스트함으로써, 장면 간 일반화 능력을 높인다.

제안 방법

• 전체 이미지 세분화를 가능하게 하기 위해 CNN의 완전 연결 층을 1×1 컨볼루션 커널로 대체함으로써, 이동 불변성과 다양한 입력 크기 지원을 확보한다.
• 외관, 운동(배경 제거), 구조(에지 검출) 특징을 위한 별도의 FCNN 브랜치를 다단계, 단계별 사전 훈련 및 공동 미세조정 파이프라인으로 훈련한다.
• 세 가지 융합 전략을 구현한다: 입력 융합(초기 입력 병합), 특징 융합(고수준 특징 후 병합), 결정 융합(최종 예측에 대한 투표).
• 단일 순방향 전파를 통해 추론을 수행함으로써, 이미지 리사이징이나 왜곡 없이 전체 해상도 이미지에서 실시간 처리를 가능하게 한다.
• 컨볼루션 층의 공간 불변성을 활용하여 다양한 이미지 스케일과 시점에서도 일관된 특징 학습을 유지한다.
• 깊이 있는 아키텍처에서 맥스 풀링과 ReLU 활성화 함수를 적용하여 원시 이미지에서 계층적 특징을 추출하고, 밀도 있는 예측을 위해 업샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 네트워크는 패치 단위 스캔 없이 실시간 전체 이미지 군중 세분화를 달성할 수 있는가?
• RQ2 외관, 운동, 구조적 특징이 복잡한 군중 장면에서 개별적으로나 함께 어떻게 세분화 정확도를 향상시키는가?
• RQ3 다단계, 다특징 딥 러닝 프레임워크는 다양한 카메라 뷰와 환경 조건 간에 얼마나 일반화되는가?
• RQ4 외관, 운동, 구조적 특징을 융합하기 위한 최적의 융합 전략(입력, 특징, 결정 수준)은 무엇인가?
• RQ5 기존 수작업 특징(예: HOG, GMM)과 베이스라인 딥 러닝 모델에 비해 제안된 방법은 대규모 실생활 군중 데이터셋에서 어떻게 성능을 냈는가?

주요 결과

• 제안된 FCNN는 단일 순방향 전파를 통해 실시간 추론을 달성하여, GPU에서 프레임당 계산 시간을 패치 기반 기준 5분에서 1초 이내로 단축시켰다.
• 운동만을 고려한 FCNN는 시티 데이터셋에서 AUC 0.9739를 기록하며, 외관 및 구조 모델보다 뛰어난 성능을 보였는데, 이는 동적인 장면에서 강력한 운동 신호 때문이었다.
• 특징 융합 및 결정 융합 방법은 단일 모델 성능을 향상시켰으며, 특징 융합은 상하이 월드엑po 데이터셋에서 AUC 0.9511, 시티 데이터셋에서 AUC 0.9724를 기록했다.
• 융합 모델은 건물 및 나무 위의 잘못된 경고(예: false positive)와 먼 거리에 있는 또는 정지한 보행자에 대한 잘못된 예측(예: false negative)을 줄였으며, 개별 브랜치의 상호 보완적 강점을 입증했다.
• 외관 모델만으로도 상하이 월드엑포 데이터셋에서 AUC 0.9376를 기록하여, HOG+SVM(0.8818) 및 GMM(0.8068)보다 뛰어난 성능을 보였으며, 학습된 특징의 우수성을 입증했다.
• 시티 데이터셋은 11개 카메라 뷰와 더 긴 클립을 포함하여 배경 모델링에 유리하여, GMM의 AUC가 0.8923에 이르렀으며, 상하이 데이터셋보다 높았다. 이는 시간적 데이터 품질의 영향을 보여준다.