[논문 리뷰] Learning to Segment Moving Objects in Videos

Katerina Fragkiadaki, Pablo Arbeláez외 2명|arXiv (Cornell University)|2014. 12. 19.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 4

한 줄 요약

이 논문은 광학 흐름 경계에서 프레임별로 운동 기반 객체 제안(MOPs)을 생성하고, 双경로형 컨volution 신경망 기반의 이동 객체 존재감 감지기(MOD)를 사용해 그들을 순위 매기는 새로운 방법을 제안한다. 이 방법은 운동 유사도 기반의 경로를 따라 랜덤 워크를 수행함으로써 상하좌우 시간적 튜브로 상위 제안들을 확장하며, VSB100 및 Moseg 벤치마크에서 최신 기술 수준의 성능을 달성한다. 정적 제안 방법 대비 탐지율이 7% 향상되었다.

ABSTRACT

We segment moving objects in videos by ranking spatio-temporal segment proposals according to "moving objectness": how likely they are to contain a moving object. In each video frame, we compute segment proposals using multiple figure-ground segmentations on per frame motion boundaries. We rank them with a Moving Objectness Detector trained on image and motion fields to detect moving objects and discard over/under segmentations or background parts of the scene. We extend the top ranked segments into spatio-temporal tubes using random walkers on motion affinities of dense point trajectories. Our final tube ranking consistently outperforms previous segmentation methods in the two largest video segmentation benchmarks currently available, for any number of proposals. Further, our per frame moving object proposals increase the detection rate up to 7\% over previous state-of-the-art static proposal methods.

연구 동기 및 목표

• 운동 신호를 활용해 더 정확하고 구별력 있는 객체 제안을 생성함으로써 영상 객체 분할 성능을 향상시키기.
• 잡음이 많은 환경에서 정적 경계 검출기의 한계를 보완하기 위해 광학 흐름 경계를 직접적으로 제안 생성에 활용함으로써 보다 안정적인 결과를 도출하기.
• 학습 가능한, 클래스에 종속되지 않는 존재감 감지기를 개발하여 정적 배경 및 과도/부족 분할된 제안을 효과적으로 구분하기.
• 운동 분할과 트래킹 간 격차를 해소하기 위해 밀도 있는 궤적을 기반으로 제안 순위 매기기와 상하좌우 시간적 튜브 형성 기법을 융합하기.
• 학습된 이동 객체 존재감 점수를 기반으로 튜브를 순위 매김함으로써 최소한의 제안 수로도 높은 분할 정확도를 달성하기.

제안 방법

• 광학 흐름 크기에서 유도된 운동 경계에 대해 다중 도메인-배경 분할을 적용하여 프레임별로 운동 기반 객체 제안(MOPs)을 생성한다.
• 광학 흐름에 대해 학습된 경계 검출기를 사용해 운동 경계를 탐지함으로써, 정적 경계와의 융합이 필요 없어져 보정 오류를 줄인다.
• 이미지 및 광학 흐름 필드를 입력으로 사용하는 이중 경로형 컨volution 신경망(MOD)을 학습하여 각 제안에 대해 '이동 객체 존재감 점수'를 예측함으로써 잡음 제안을 걸러낸다.
• 상위 순위의 MOPs는 다중 프레임에 걸친 조밀한 점 궤적에서 계산된 운동 유사도 기반의 랜덤 워크를 통해 3차원 상하좌우 시간적 튜브로 확장된다.
• 궤적 클러스터는 초과셀과의 오버랩을 통해 픽셀 튜브로 매핑되어 시간에 걸쳐 공간 일관성을 확보한다.
• 튜브 점수는 수명 기간 동안의 존재감 점수의 합으로 집계되어 더 길고 안정적인 튜브를 선호한다.

실험 결과

연구 질문

• RQ1 정적 제안 방법에 비해 운동 기반 객체 제안이 이동 객체 탐지율 향상에 기여하는가?
• RQ2 학습된 이동 객체 존재감 감지기가 과도 분할, 부족 분할 또는 배경 제안을 효과적으로 걸러내는가?
• RQ3 궤적 기반 랜덤 워크를 통한 상하좌우 시간적 튜브 확장이 분할 정확도 향상에 얼마나 기여하는가?
• RQ4 정적 경계와의 융합 없이 광학 흐름 경계를 직접적으로 사용할 경우, 잡음이 많은 환경에서 더 높은 제안 다양성과 강건성을 확보할 수 있는가?
• RQ5 클래스에 종속되지 않는 이중 경로형 CNN이 사전에 객체 클래스 정보 없이 다양한 카테고리의 이동 객체를 효과적으로 탐지할 수 있는가?

주요 결과

• 제안된 MOPs는 VSB100와 같은 잡음이 많은 환경에서 최신 기술 수준의 정적 제안 방법 대비 탐지율을 최대 7% 향상시킨다.
• 이중 경로형 CNN 기반의 이동 객체 존재감 감지기(MOD)는 수작업 기반의 시각적 흥미도 및 기타 다층 존재감 기반 기준보다 제안 순위 매기기 성능에서 뛰어나다.
• VSB100 데이터셋에서 GOPs와 MOPs를 융합하면 정적 경계 검출기가 실패하는 환경에서 특히 뚜렷한 성능 향상이 나타난다.
• 이 방법은 VSB100 및 Moseg 벤치마크에서 모두 최신 기술 수준의 성능을 달성하였으며, 제안 수에 관계없이 일관된 우수성을 보였다.
• MOD의 튜브 수명 기간 동안의 점수 집계 방식은 장기적 트래킹 안정성을 향상시키며, 더 길고 일관성 있는 튜브를 선호한다.
• 실패 사례는 주로 큰 운동량이나 가림으로 인한 시간적 분할에서 기인하며, 향후 연결 히وري스틱이 필요하다고 제안된다.