[논문 리뷰] Learning Motion Patterns in Videos

Pavel Tokmakov, Karteek Alahari외 1명|arXiv (Cornell University)|2016. 12. 21.

Advanced Vision and Imaging참고 문헌 37인용 수 4

한 줄 요약

이 논문은 합성 영상 데이터에서 운동 패턴을 학습하는 완전 컨volution 네트워크인 MP-Net을 제안하며, 물체 운동과 카메라 운동을 구분하여 움직이는 물체 세분화에서 최신 기술 성능을 달성한다. 광학 흐름, 물체성 맵, CRF 정밀 조정을 활용하여 DAVIS 벤치마크에서 이전 방법보다 5.6% 높은 평균 IoU를 기록했으며, 영상 수준의 입력 없이도 프레임 수준의 입력만으로도 성능을 달성한다.

ABSTRACT

The problem of determining whether an object is in motion, irrespective of camera motion, is far from being solved. We address this challenging task by learning motion patterns in videos. The core of our approach is a fully convolutional network, which is learned entirely from synthetic video sequences, and their ground-truth optical flow and motion segmentation. This encoder-decoder style architecture first learns a coarse representation of the optical flow field features, and then refines it iteratively to produce motion labels at the original high-resolution. We further improve this labeling with an objectness map and a conditional random field, to account for errors in optical flow, and also to focus on moving "things" rather than "stuff". The output label of each pixel denotes whether it has undergone independent motion, i.e., irrespective of camera motion. We demonstrate the benefits of this learning framework on the moving object segmentation task, where the goal is to segment all objects in motion. Our approach outperforms the top method on the recently released DAVIS benchmark dataset, comprising real-world sequences, by 5.6%. We also evaluate on the Berkeley motion segmentation database, achieving state-of-the-art results.

연구 동기 및 목표

• 영상에서 독립적인 물체 운동과 카메라 운동을 구분하는 오랜 도전 과제를 해결하기 위해.
• 카메라 운동에 관계없이 움직이는 물체를 자동으로 식별할 수 있는 학습 기반 프레임워크를 개발하기 위해.
• 운동 패턴 학습과 물체성 및 CRF 정밀 조정을 융합하여 움직이는 물체 세분화 성능을 향상시키기 위해.
• 영상 수준의 시간적 전파에 의존하지 않고도 실제 영상 데이터셋에서 최신 기술 성능을 달성하기 위해.
• 복잡한 운동 패턴을 가진 다양한 실제 영상에 대한 일반화 능력을 입증하기 위해.

제안 방법

• FlyingThings3D에서 유도된 합성 영상 시퀀스를 사용하여 MP-Net(완전 컨volution 인코더-디코더 네트워크)를 엔드 투 엔드로 훈련하며, 기준 광학 흐름과 운동 세분화를 제공한다.
• 광학 흐름 필드를 MP-Net의 입력으로 사용하여, 각 픽셀의 독립 운동 여부를 나타내는 점수를 예측한다.
• 강렬한 움직이는 물체를 강조하고 물체가 아닌 요소(예: 물,smoke)를 억제하기 위해 물체성 맵을 활용해 MP-Net 예측을 정밀 조정한다.
• 공간 일관성을 강제로 부여하고 운동 레이블링의 국소 오류를 수정하기 위해 조건부 랜덤 필드(CRF)를 적용한다.
• 복잡한 영상 수준의 추론이나 추적을 피하기 위해 오직 이중 프레임 광학 흐름 입력만을 활용한다.
• 기존 영상 세분화 프레임워크(예: FST [27])에 MP-Net 예측을 통합하여 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 훈련된 딥 러닝 모델이 실제 영상 운동 세분화 작업으로 일반화될 수 있는가?
• RQ2 오직 광학 흐름만을 사용하여 완전 컨볼루션 네트워크가 물체 운동과 카메라 운동을 얼마나 효과적으로 분리할 수 있는가?
• RQ3 물체성 맵과 CRF 정밀 조정이 광학 흐름 오류가 존재하는 상황에서 운동 레이블링 정확도에 얼마나 기여하는가?
• RQ4 영상 수준의 방법보다 시간 전파 없이도, 단일 프레임 기반 방법이 움직이는 물체 세분화에서 우수한 성능을 낼 수 있는가?
• RQ5 느린 이동 또는 소형 물체를 포함한 모호하거나 복잡한 운동 시나리오에서 모델의 성능은 어떠한가?

주요 결과

• MP-Net는 DAVIS 벤치마크에서 최고 성능 기록 방법보다 평균 IoU 5.6% 높은 72.1% IoU를 기록하여 최신 기술 성능을 달성했다.
• DAVIS에서 최고의 이전 방법(NLC) 대비 F-measure를 7% 향상시켜 평균 F-measure 85.3%를 달성했다.
• FST [27] 프레임워크에 통합되었을 때, BMS-26 데이터셋에서 성능을 14% 향상시켜 PCM [3]의 성능을 재현했다.
• FBMS 테스트 세트에서 MP+Obj+FST 조합 방법은 F-measure 77.5%를 기록하여 FST(69.2), CVOS(74.9), CUT(76.8)를 모두 능가했다.
• 정성적 결과에서 FST 및 NLC 대비 경계 정확도가 뛰어나고 배경 영역으로의 누출 현상이 감소한 것으로 나타났으며, 특히 움직이는 물이나 소형 물체에서 두드러졌다.
• 학습된 운동 패턴 구분 능력 덕분에 흐름 오류에도 강인하며, 카메라 운동과 물체 운동이 유사한 경우에도 효과적으로 물체를 세분화한다.