[논문 리뷰] MOMS with Events: Multi-Object Motion Segmentation With Monocular Event Cameras.

Chethan M. Parameshwara, Nitin J. Sanket외 3명|arXiv (Cornell University)|2020. 06. 11.

Advanced Memory and Neural Computing참고 문헌 29인용 수 6

한 줄 요약

이 논문은 단일 이벤트 카메라를 사용하여 다중 객체 운동 분할을 위한 새로운 방법을 제안한다. 고전적 최적화 기법과 딥러닝을 융합하여 전역 강성 운동을 추정하고 보정한 후, 특징 추적과 시간적 기울기 정렬을 통해 반복적으로 장면을 다중 운동으로 분할한다. 이는 EV-IMO, EED, MOD 데이터셋에서 각각 77.06%, 94.2%, 82.35%의 새로운 최고 성능 평균 검출률을 달성하여 이전 방법들보다 최대 12% 향상된 성능을 보였다.

ABSTRACT

Segmentation of moving objects in dynamic scenes is a key process in scene understanding for both navigation and video recognition tasks. Without prior knowledge of the object structure and motion, the problem is very challenging due to the plethora of motion parameters to be estimated while being agnostic to motion blur and occlusions. Event sensors, because of their high temporal resolution, and lack of motion blur, seem well suited for addressing this problem. We propose a solution to multi-object motion segmentation using a combination of classical optimization methods along with deep learning and does not require prior knowledge of the 3D motion and the number and structure of objects. Using the events within a time-interval, the method estimates and compensates for the global rigid motion. Then it segments the scene into multiple motions by iteratively fitting and merging models using input tracked feature regions via alignment based on temporal gradients and contrast measures. The approach was successfully evaluated on both challenging real-world and synthetic scenarios from the EV-IMO, EED, and MOD datasets, and outperforms the state-of-the-art detection rate by as much as 12% achieving a new state-of-the-art average detection rate of 77.06%, 94.2% and 82.35% on the aforementioned datasets.

연구 동기 및 목표

• 객체의 구조나 운동에 대한 사전 지식 없이도 동적인 장면에서 다중 이동 객체를 분할하는 데 도전하는 것.
• 단일 영상에서 운동 흐림, 가림, 고차원 운동 파rameter 추정의 어려움을 극복하는 것.
• 이벤트 카메라의 높은 시간 해상도와 운동 흐림이 없는 특성을 활용하여 운동 분할 성능을 향상시키는 것.
• 3D 운동, 객체 수, 객체 구조에 대한 사전 지식이 필요 없는 방법을 개발하는 것.
• 이벤트 기반 센싱을 활용하여 다중 객체 운동 분할에서 최고 성능을 달성하는 것.

제안 방법

• 이 방법은 시간 간격 내 이벤트를 이용하여 전역 강성 운동을 먼저 추정하고 보정한다.
• 프레임 간 특징 영역을 추적하고, 시간적 기울기와 대비 측도를 사용하여 모델 피팅을 위한 정렬을 수행한다.
• 정렬 품질과 일관성에 기반하여 다중 운동 모델을 반복적으로 피팅하고 융합한다.
• 강건한 특징 추적과 운동 추정을 위해 고전적 최적화 기법과 딥러닝 구성 요소를 융합한다.
• 이 알고리즘은 종단 간(end-to-end) 방식으로 작동하며, 사전 가정 없이 이벤트 데이터를 활용해 다중 독립 운동을 추론한다.
• 반복적으로 정렬을 개선하고 유사한 운동 성분을 융합함으로써 운동 모델을 향상시키기 위한 피드백 루프를 사용한다.

실험 결과

연구 질문

• RQ1 이벤트 카메라를 사용하여 객체의 구조나 운동에 대한 사전 지식 없이 정확한 다중 객체 운동 분할을 가능하게 할 수 있는가?
• RQ2 이벤트 기반 데이터에서 전역 강성 운동을 효과적으로 추정하고 보정하면 다중 운동의 분할 성능가 향상될 수 있는가?
• RQ3 시간적 기울기와 대비 측도는 특징 추적 정렬을 향상시켜 운동 모델 피팅에 얼마나 기여하는가?
• RQ4 다양한 실제 및 시뮬레이션 환경에서 제안된 방법은 최고 수준의 접근법과 비교해 검출 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 정렬 품질에 기반한 반복적 모델 피팅과 융합이 가림과 운동 흐림이 존재하는 상황에서도 강건한 분할을 가능하게 하는가?

주요 결과

• 제안된 방법은 EV-IMO 데이터셋에서 새로운 최고 성능 평균 검출률 77.06%를 달성했다.
• EED 데이터셋에서는 94.2%의 평균 검출률을 기록하여 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• MOD 데이터셋에서는 82.35%의 평균 검출률을 달성하여 다양한 데이터셋 간 강력한 일반화 능력을 입증했다.
• 평가된 데이터셋 전반에서 이전 최고 수준의 성능 대비 최대 12% 향상된 검출 성능을 보였다.
• 이벤트 센서의 높은 시간 해상도 덕분에 운동 흐림과 가림을 포함한 도전적인 상황에서도 효과적으로 대응할 수 있었다.
• 고전적 최적화 기법과 딥러닝의 통합은 객체 수나 3D 운동에 대한 사전 가정 없이도 강건하고 정확한 분할을 가능하게 했다.