[논문 리뷰] Motion Segmentation by Exploiting Complementary Geometric Models

Xun Xu, Loong‐Fah Cheong외 1명|arXiv (Cornell University)|2018. 04. 06.

Advanced Vision and Imaging참고 문헌 29인용 수 6

한 줄 요약

이 논문은 강한 투시 효과와 거의 비퇴화된 운동이 있는 실제 환경에서의 운동 분할 성능을 향상시키기 위해 기본 행렬 모델과 동차성 모델을 상호보완적으로 융합하는 다중 시점 스펙트럴 클러스터링 프레임워크를 제안한다. 공정한 정규화를 통해 상호보완적인 기하 모델을 융합함으로써, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하였고, 도전적인 조건에서의 강인성 평가를 위해 새로운 실제 환경 데이터셋 KT3DMoSeg를 제작하였다.

ABSTRACT

Many real-world sequences cannot be conveniently categorized as general or degenerate; in such cases, imposing a false dichotomy in using the fundamental matrix or homography model for motion segmentation would lead to difficulty. Even when we are confronted with a general scene-motion, the fundamental matrix approach as a model for motion segmentation still suffers from several defects, which we discuss in this paper. The full potential of the fundamental matrix approach could only be realized if we judiciously harness information from the simpler homography model. From these considerations, we propose a multi-view spectral clustering framework that synergistically combines multiple models together. We show that the performance can be substantially improved in this way. We perform extensive testing on existing motion segmentation datasets, achieving state-of-the-art performance on all of them; we also put forth a more realistic and challenging dataset adapted from the KITTI benchmark, containing real-world effects such as strong perspectives and strong forward translations not seen in the traditional datasets.

연구 동기 및 목표

• 강한 투시 효과와 거의 비퇴화된 운동이 있는 실제 환경에서의 운동 분할에 기본 행렬 모델이나 동차성 모델만을 사용할 경우 발생하는 한계를 해결하기 위해.
• 광시야각 환경에서 기하학적으로 정확하지 않음에도 불구하고 동차성 기반 방법이 기본 행렬 기반 방법보다 우수한 성능을 내는 이유를 탐구하기 위해.
• 다양한 기하 모델을 상호보완적으로 융합하여 부분공간 클러스터링 성능을 향상시키는 융합 프레임워크를 개발하기 위해.
• 실제 환경의 과제를 반영하는 새로운 현실적인 벤치마크 데이터셋(KT3DMoSeg)을 제작하기 위해.
• 기본 행렬 모델의 잠재적 성능은 동차성과 같은 보완 모델과 결합될 때에야 비로소 실현될 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 다중 시점 스펙트럴 클러스터링 프레임워크를 활용하여 기본 행렬(F), 동차성(H), 애프린(A) 등의 다수 기하 모델로부터 유사도 행렬을 생성한다.
• 공정한 정규화를 통해 이러한 시점들의 스펙트럴 임bedding을 융합함으로써, 상호보완적인 정보를 활용하여 클러스터링 품질을 향상시킨다.
• 동차성 가설을 통한 가상의 평면 절삭을 도입하여 비물리적이지만 강체로 움직이는 표면 간의 연결성을 향상시키고, 과다 분할을 줄인다.
• 융합 과정은 정규화 파rameter λ와 γ를 통해 개별 시점(F-시점, H-시점, A-시점)을 수정함으로써 단일 모델 접근법의 내재된 약점을 보완할 수 있도록 한다.
• 최종 클러스터링은 공정한 정규화된 임bedding에 대해 k-means를 적용하여 수행되며, 표준 벤치마크와 새로운 KT3DMoSeg 데이터셋에서 성능을 평가한다.
• 메서드는 Hopkins155, Hopkins12, MTPV62 및 새로 제안된 KT3DMoSeg 데이터셋에서 평가되며, 시퀀스 간 정량적 오차 분석이 수행된다.

실험 결과

연구 질문

• RQ1 왜 투시 효과가 있는 환경에서 기하학적으로 정확하지 않음에도 불구하고 동차성 기반 방법이 Hopkins155에서 최신 기술 수준의 성능을 내는가?
• RQ2 퇴화 외의 어떤 요소들이 기본 행렬 모델의 성능 저하를 초래하는가?
• RQ3 강한 투시 효과와 비평면 운동이 있는 실제 환경에서 기본 행렬 모델의 잠재적 성능을 실현할 수 있는가?
• RQ4 보완적인 기하 모델(동차성 및 기본 행렬)을 효과적으로 융합하여 부분공간 클러스터링 성능을 향상시킬 수 있는가?
• RQ5 공정한 정규화가 복잡한 실제 환경의 운동 분할 시나리오에서 개별 기하 모델의 성능을 어느 정도 향상시키는가?

주요 결과

• 제안된 다중 시점 융합 프레임워크는 Hopkins155, Hopkins12, MTPV62 등 평가된 모든 데이터셋에서 최신 기술 수준의 성능을 달성하였다.
• 공정한 정규화 기법 덕분에 기본 행렬 시점의 성능이 개선되어, 적절한 정규화 파rameter 조정 시 전체적으로 최고의 결과를 도출하였다.
• KT3DMoSeg 데이터셋은 실제 환경의 운동 분할 과제에서의 도전 과제를 드러내었으며, 배경 분할, 전경 감지 실패, 이피폴라 모호성 등이 포함되어 있다.
• 강한 투시 효과와 비압축 배경 구조가 있는 환경에서는 동차성 모델이 연결성 부족으로 인해 과다 분할을 일으키는 경향이 있었고, 기본 행렬 모델은 부분공간 겹침과 잘못된 그룹화 문제를 겪었다.
• 이 방법은 배경 분할 오류나 전경 및 정적 물체의 융합 오류를 효과적으로 수정함으로써, 모델 융합의 효과성을 입증하였다.