[논문 리뷰] Surveillance Video Parsing with Single Frame Supervision

Si Liu, Changhu Wang외 3명|arXiv (Cornell University)|2016. 11. 29.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 7

한 줄 요약

이 논문은 단일 레이블 프레임당 하나의 레이블링만을 사용하여 정확한 감시 비디오 파싱을 가능하게 하는 엔드 투 엔드 딥 러닝 프레임워크인 Single Frame Video Parsing(SVP)을 제안한다. 온라인 광학 흐름 추정을 통해 시간적 맥락을 활용하고, 단기 및 장기 프레임에서의 난잡한 파싱 결과를 신뢰도 기반 융합함으로써 SVP는 최소한의 감독 하에 최신 기술 수준의 성능을 달성하며, 새로 수집한 실내 및 실외 데이터셋에서 강인성과 실시간 적용 가능성을 입증한다.

ABSTRACT

Surveillance video parsing, which segments the video frames into several labels, e.g., face, pants, left-leg, has wide applications. However,pixel-wisely annotating all frames is tedious and inefficient. In this paper, we develop a Single frame Video Parsing (SVP) method which requires only one labeled frame per video in training stage. To parse one particular frame, the video segment preceding the frame is jointly considered. SVP (1) roughly parses the frames within the video segment, (2) estimates the optical flow between frames and (3) fuses the rough parsing results warped by optical flow to produce the refined parsing result. The three components of SVP, namely frame parsing, optical flow estimation and temporal fusion are integrated in an end-to-end manner. Experimental results on two surveillance video datasets show the superiority of SVP over state-of-the-arts.

연구 동기 및 목표

• 모든 프레임의 픽셀 수준 레이블링이 매우 시간이 오래 걸리는 감시 비디오 파싱에서 희박한 애너테이션 문제를 해결한다.
• 학습 중에 비디오당 하나의 레이블 프레임만 필요로 하는 실용적인 비디오 파싱 프레임워크를 개발한다. 이는 애너테이션 비용을 최소화한다.
• 제한된 감독 하에서 과적합을 방지하기 위해 영상 시퀀스에서 풍부한 시간적 맥락을 활용한다.
• 프레임 파싱, 광학 흐름 추정, 시간적 융합을 통합한 엔드 투 엔드 실시간 시스템을 설계하여 강인한 추론을 구현한다.
• 향후 연구를 위한 벤치마크로 사용할 수 있도록 실내 및 실외 감시 비디오 파싱 데이터셋을 공개한다.

제안 방법

• 시간적 맥락을 모델링하기 위해 현재 프레임 $I_t$, 단기 이전 프레임 $I_{t-s}$, 장기 이전 프레임 $I_{t-l}$의 3프레임 조합을 입력으로 사용한다.
• 각 프레임의 3프레임에 대해 난잡한 의미적 세그멘테이션 맵을 생성하기 위해 프레임 파싱 서브넷을 적용한다.
• 시간 간의 픽셀 수준 대응 관계를 모델링하기 위해 전용 서브넷을 사용해 밀도 있는 광학 흐름을 추정한다.
• 왜곡된 특징과 원본 이미지 간의 외관 차이를 기반으로 픽셀 수준의 신뢰도 맵을 계산하여 흐름 신뢰도를 평가한다.
• 신뢰도 가중 광학 흐름을 사용해 모든 3개 프레임의 난잡한 파싱 결과를 융합하여 정제된 시간적으로 일관된 세그멘테이션 출력을 생성한다.
• 특징 학습, 분류, 대응 관계 탐색, 융합을 동시에 최적화하는 방식으로 전체 SVP 프레임워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 비디오당 하나의 애너테이션 프레임만으로도 높은 정확도를 달성할 수 있는가? 이는 애너테이션 비용을 크게 줄일 수 있다.
• RQ2 극도로 희박한 레이블 조건 하에서, 다수의 프레임에서의 시간적 맥락이 파싱 성능 향상에 얼마나 효과적인가?
• RQ3 정확도를 희생시키지 않고 온라인 실시간 광학 흐름 추정을 엔드 투 엔드 비디오 파싱 프레임워크에 효과적으로 통합할 수 있는가?
• RQ4 광학 흐름 예측의 신뢰도 가중치가 흐름 오류에 대한 강인성을 향상시키는 데 어떻게 기여하는가?
• RQ5 제안된 방법이 실내 및 실외 환경과 같은 다양한 감시 환경에서 일반화 가능한가?

주요 결과

• SVP는 새로 수집한 두 개의 감시 비디오 파싱 데이터셋에서 최신 기술 수준의 성능를 달성하며, 단일 프레임 감독 하에서 기존 방법들을 능가한다.
• 신뢰도 가중치를 적용한 SVP(SVP l+s+c)의 F1 스코어는 실외 데이터셋에서 0.5294를 기록하여 기준 SVP l+s(0.5117)보다 유의미한 향상이 이루어졌다.
• 정성적 결과에서는 SVP가 일반적으로 무시되거나 잘못 분류되는 어려운 부분, 예를 들어 끈과 신발을 정확히 식별하고 국소화하는 데 성공했다.
• 틀린 예측을 낮은 신뢰도의 광학 흐름 영역에서 효과적으로 걸러내어, 흐름 추정이 완벽하지 않은 경우에도 정확한 세그멘테이션을 유지한다.
• SVP는 GPU에서 밀리초 단위로 실행되어 실시간 배포에 적합하며, 오프라인 흐름 방법인 EpicFlow에 비해 훨씬 느리지만 약간 더 높은 F1 스코어를 기록한다.
• 제거 분석 결과, 단기 및 장기 프레임을 모두 활용함으로써 정확도와 다양성 측면에서 상호 보완적인 이점을 제공함을 확인했다.