[논문 리뷰] It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos

Pia Bideau, Erik Learned-Miller|arXiv (Cornell University)|2016. 04. 01.

Advanced Vision and Imaging참고 문헌 32인용 수 5

한 줄 요약

이 논문은 움직이는 카메라 영상에서 인과적 운동 분할을 향상시키기 위해 광학 흐름의 크기 의존성 각도 가능도를 활용하는 새로운 확률적 운동 분할 모델을 제안한다. 광학 흐름의 불확실성을 흐름 크기에 조건화된 버트만 분포로 모델링함으로써, 세 가지 벤치마크에서 최신 기술 수준을 초월하는 성능을 달성하였으며, F-측정치와 매튜스 상관계수 모두에서 이전 방법들보다 크게 앞서나간다.

ABSTRACT

The human ability to detect and segment moving objects works in the presence of multiple objects, complex background geometry, motion of the observer, and even camouflage. In addition to all of this, the ability to detect motion is nearly instantaneous. While there has been much recent progress in motion segmentation, it still appears we are far from human capabilities. In this work, we derive from first principles a new likelihood function for assessing the probability of an optical flow vector given the 3D motion direction of an object. This likelihood uses a novel combination of the angle and magnitude of the optical flow to maximize the information about the true motions of objects. Using this new likelihood and several innovations in initialization, we develop a motion segmentation algorithm that beats current state-of-the-art methods by a large margin. We compare to five state-of-the-art methods on two established benchmarks, and a third new data set of camouflaged animals, which we introduce to push motion segmentation to the next level.

연구 동기 및 목표

• 복잡한 배경, 관찰자 운동, 은신 수단이 존재하는 상황에서도 인간 수준의 속도와 강건성을 갖춘 운동 객체 탐지 알고리즘을 개발한다.
• 광학 흐름을 통한 3차원 운동 추정의 근본적 모순을 해결하기 위해, 흐름 각도의 불확실성을 흐름 크기의 함수로 모델링한다.
• perspective 투영과 광학 흐름 형성 모델에서 유도된 체계적인 가능도 함수를 통해 운동 분할 정확도를 향상시킨다.
• 다양하고 도전적인 데이터셋, 특히 새로운 은신 동물 기반 벤치마크를 포함하여 실제 환경에서의 강건성을 시험하기 위해 방법을 평가한다.

제안 방법

• perspective 투영과 노이즈 모델링을 사용하여, 3차원 운동 방향 $ M $ 과 흐름 크기 $ \mathbf{t}_{r} $ 를 조건으로 하는 광학 흐름 각도 $ \mathbf{t}_{\theta} $ 의 가능도 $ p(\mathbf{t}_{\theta}|M,\mathbf{t}_{r}) $ 를 유도한다.
• 흐름 크기 $ \mathbf{t}_{r} $ 에 따라 명시적으로 변화하는 농도 매개수 $ \kappa $ 를 갖는 버트만 분포를 도입함으로써, 작은 흐름은 정보가 적고 큰 흐름은 더 신뢰할 수 있도록 한다.
• 배경 운동을 강건하게 추정하기 위해 제약 조건이 있는 RANSAC 기반 초기화를 사용하여, 전경 객체를 배경으로 잘못 분류하는 것을 방지한다.
• 베이지안 프레임워크를 활용하여 새로운 가능도를 운동에 대한 사전 가정과 결합함으로써, 운동 객체의 확률적 분할을 가능하게 한다.
• 두 프레임 간의 전방향 흐름만을 사용하는 인과 추론 전략을 적용하여, 미래 프레임을 거쳐 비인과적 궤적 추적을 피한다.
• 은신 동물 영상 9편으로 구성된 새로운 데이터 드리븐 벤치마크를 통합하여 극한의 시각적 은신 상황에서의 분할 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 작은 운동과 노이즈가 존재하는 상황에서 광학 흐름의 불확실성을 더 효과적으로 모델링하는 방법은 무엇인가?
• RQ2 흐름 크기에 따라 가능도를 조건화하는 방식이 일정한 농도 모델 대비 분할 정확도 향상에 얼마나 기여하는가?
• RQ3 비인과적 다중 프레임 궤적 기반 방법에 비해 인과적 이중 프레임 기반 방법이 복잡한 시나리오에서 더 나은 성능을 내는가?
• RQ4 이 방법은 자연 환경에서 은신된 동물과 같은 극도로 도전적인 상황에 얼마나 잘 일반화되는가?
• RQ5 외곽선과 복잡한 배경이 존재하는 상황에서 강건한 초기화(예: RANSAC)가 분할 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 BMS-26 데이터셋에서 평균 매튜스 상관계수(MCC) 0.7576을 기록하여 두 번째로 좋은 방법(0.6843)을 크게 앞서나간다.
• 복잡한 배경 데이터셋에서 방법은 MCC 0.7491을 달성하여 다음으로 좋은 방법보다 4.9%포인트 높다.
• 새로운 은신 동물 데이터셋에서 방법은 MCC 0.5344를 기록하여 일정한 $ \kappa $ 기반 모델(0.3128)보다 22%포인트 향상되었으며, 극한의 은신에 대한 강건성을 입증한다.
• 크기 의존성 $ \kappa $ 를 사용함으로써 세 데이터셋에서 각각 7%, 5%, 22%의 성능 향상을 달성하여, 흐름 크기가 불확실성 모델링에서 중요한 역할을 함을 입증한다.
• 제약 조건이 있는 RANSAC 초기화가 전경 객체를 배경으로 잘못 분류하는 것을 줄였으며, 다른 방법이 나무와 벽을 배경으로 잘못 분류한 시각적 비교에서 이를 확인할 수 있다.
• F-측정치와 MCC 모두에서 다섯 가지 최신 기술 수준의 방법보다 세 데이터셋 전반에서 승리하며, 은신 동물 벤치마크에서 가장 큰 격차를 보였다.