[논문 리뷰] Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation

Benjamin Drayer, Thomas Brox|arXiv (Cornell University)|2016. 08. 10.

Visual Attention and Saliency Detection참고 문헌 25인용 수 30

한 줄 요약

이 논문은 사전 학습된 객체 검출기와 운동 세그멘테이션, 외관 특징을 결합하여 시간적으로 일관되고 클래스 레이블이 부여된 객체 튜브를 생성하는 약한 지도 학습 기반 비디오 객체 세그멘테이션 방법을 제안한다. 검출기 사전 지식과 운동/질감 특징을 활용하여 YouTube Objects에서 이전 최고 성능보다 3% 높은 성능을 달성하고, 네 개의 데이터셋에서 안정적인 결과를 보이며, 정적 또는 카메라 움직임이 있는 시나리오에서 순수 운동 기반 방법의 한계를 극복한다.

ABSTRACT

We present an approach for object segmentation in videos that combines frame-level object detection with concepts from object tracking and motion segmentation. The approach extracts temporally consistent object tubes based on an off-the-shelf detector. Besides the class label for each tube, this provides a location prior that is independent of motion. For the final video segmentation, we combine this information with motion cues. The method overcomes the typical problems of weakly supervised/unsupervised video segmentation, such as scenes with no motion, dominant camera motion, and objects that move as a unit. In contrast to most tracking methods, it provides an accurate, temporally consistent segmentation of each object. We report results on four video segmentation datasets: YouTube Objects, SegTrackv2, egoMotion, and FBMS.

연구 동기 및 목표

• 카메라 움직임, 정적 물체, 함께 움직이는 물체가 있는 비디오에서 순수하게 바닥에서부터 시작하는 운동 세그멘테이션의 한계를 해결하기 위해.
• 사용자 상호작용 없이도 사전 학습된 객체 검출기만을 약한 지도 정보로 사용하여 정확하고 시간적으로 일관된 비디오 세그멘테이션을 가능하게 하기 위해.
• 검출 기반 위치 사전 지식과 운동 및 외관 특징을 융합하여 세그멘테이션 정확도를 향상시키기 위해.
• 다양한 비디오 데이터셋, 특히 물체 도착, 가림, 함께 움직이는 물체와 같은 도전적인 상황에서도 강건한 성능을 달성하기 위해.
• 각 세그멘테이션 객체에 클래스 레이블을 제공하여 의미 수준의 비디오 이해를 가능하게 하기 위해.

제안 방법

• 사전 학습된 검출기를 사용한 트래킹-바이-디텍션을 통해 객체 튜브를 추출하여, 운동과 무관한 강력한 공간적 및 클래스 사전 지식을 제공한다.
• 광학 흐름을 계산하고, 마르코프 무작위 필드(MRF) 프레임워크 내에서 운동 기반 단항 및 이원 잠재 변수를 생성한다.
• 스퍼스퍼셀 기반 세그멘테이션을 검출기 신뢰도와 운동 특징에서 유도된 단항 잠재 변수를 사용한 GrabCut으로 정밀 조정한다.
• 프레임 간 검출 제안을 연결하는 관련성 단계를 통해 일관된 3D 튜브를 구축하여 시간적 일관성을 확보한다.
• 외관, 운동, 검출 기반 특징을 융합한 MRF 최적화를 통해 최종 세그멘테이션을 확보한다.
• 해당 클래스에 대한 검출기가 제공되지 않을 경우, 하향식 운동 세그멘테이션 모드로의 후퇴를 구현한다.

실험 결과

연구 질문

• RQ1 객체 검출을 운동 및 외관 특징과 효과적으로 융합하여 도전적인 상황에서 비디오 세그멘테이션의 강건성을 향상시킬 수 있는가?
• RQ2 주로 카메라 움직임이나 정적 물체가 있는 비디오에서 검출 기반 사전 지식이 세그멘테이션 성능에 어떻게 기여하는가?
• RQ3 트래킹-바이-디텍션과 운동 세그멘테이션의 통합이 순수하게 하향식 또는 완전히 지도 학습된 방법보다 얼마나 뛰어난가?
• RQ4 이 방법은 물체 도착, 가림, 라이더와 말처럼 함께 움직이는 물체를 어떻게 처리하는가?
• RQ5 각 구성 요소(검출, 운동, 외관)가 최종 세그멘테이션 정확도에 기여하는 정도는 어느 정도인가?

주요 결과

• YouTube Objects 데이터셋에서 평균 교차율(IoU) 73.1%를 기록하여 이전 최고 성능보다 3% 높은 성능을 달성했다.
• SegTrackv2 데이터셋에서 F-측정치 73.1%를 기록하여 운동과 가림이 있는 도전적인 시퀀스에서 강력한 성능을 입증했다.
• egoMotion 데이터셋에서 운동 전용 방법이 실패하는 정적 물체(예: 주차된 차량)를 성공적으로 세그멘테이션했으며, 이는 검출기 사전 지식 덕분이었다.
• FBMS 데이터셋에서 F-측정치 73.18%를 기록했고, 69개의 물체 중 23개를 정확히 세그멘테이션했다. 정적 물체의 레이블이 누락된 점을 감안할 때 대부분의 베이스라인을 능가했다.
• 프레임 수에 비례하여 선형적으로 확장 가능하며, 평균 프레임당 약 8초의 런타임을 기록했다. 이는 검출(1.53초), GrabCut(2.1초), 광학 흐름(1.04초) 계산이 주를 이룬다.