[논문 리뷰] Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns

Laurynas Karazija, Subhabrata Choudhury외 3명|arXiv (Cornell University)|2022. 10. 21.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 정적 이미지 모델을 학습하기 위해 영상 데이터를 활용하는 비지도 다중 객체 세분화 방법을 제안한다. 이는 정확한 운동을 예측하는 대신 이미지 영역 내에서 가능한 운동 패턴을 예측하는 방식이다. 정적 물체를 포함한 강성 운동 패턴의 분포를 모델링함으로써, 합성 및 실세계 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 테스트 시점에 이미지 전용 및 운동 정보 기반 방법을 모두 능가한다.

ABSTRACT

We propose a new approach to learn to segment multiple image objects without manual supervision. The method can extract objects form still images, but uses videos for supervision. While prior works have considered motion for segmentation, a key insight is that, while motion can be used to identify objects, not all objects are necessarily in motion: the absence of motion does not imply the absence of objects. Hence, our model learns to predict image regions that are likely to contain motion patterns characteristic of objects moving rigidly. It does not predict specific motion, which cannot be done unambiguously from a still image, but a distribution of possible motions, which includes the possibility that an object does not move at all. We demonstrate the advantage of this approach over its deterministic counterpart and show state-of-the-art unsupervised object segmentation performance on simulated and real-world benchmarks, surpassing methods that use motion even at test time. As our approach is applicable to variety of network architectures that segment the scenes, we also apply it to existing image reconstruction-based models showing drastic improvement. Project page and code: https://www.robots.ox.ac.uk/~vgg/research/ppmp .

연구 동기 및 목표

• 수동 애너테이션 없이 복잡한 시각적 환경에서 비지도 다중 객체 세분화 문제를 해결한다.
• 시각적 복잡성과 외관 변화에 취약한 이미지 재구성 기반 모델의 한계를 극복한다.
• 영상 데이터를 보조 신호로 활용하여 정적 이미지 세분화 성능을 향상시키며, 물체가 움직이지 않는 경우에도 적용 가능하다.
• 실제 운동 신호에 의존하기보다는, 움직이지 않는 물체를 포함한 타당한 운동 패턴 기반으로 물체 영역을 식별하는 방법을 개발한다.
• 복잡한 환경에서 미리 보지 않은 물체와 질감에 대해 일반화 성능을 입증하며, 기존의 비지도 및 운동 보강 기반 기준선을 능가한다.

제안 방법

• 영상 데이터를 보조 신호로 사용하여 정적 이미지에서 세분화 모델을 학습하며, 운동 패턴을 물체 존재의 대체 지표로 활용한다.
• 닫힌 형태의 표현을 사용하여 강성 운동 물체에서 기대되는 광학 흐름 패턴의 분포를 모델링하며, 정지 상태(영운동)의 경우도 포함한다.
• 각 세분화된 영역에 대해 확률적 흐름 모델을 사용하여 운동 패턴의 일관성을 평가하며, 높은 확률은 더 타당한 물체 수준의 운동을 의미한다.
• 신경망을 사용하여 영역별 흐름 확률 분포 최적화를 목표로 하는 표준 이미지 세분화 문제로 세분화 작업을 재정의한다.
• 물리 기반 시뮬레이션을 적용한 객체 운동과 현실적인 정지 객체를 포함한 두 가지 새로운 영상 데이터셋(CLEVR 및 ClevrTex의 확장판)을 제안한다.
• 기존의 이미지 재구성 기반 모델(Slot Attention, IODINE 등)에 운동 인식 손실을 적용하여 성능을 크게 향상시켰다.

실험 결과

연구 질문

• RQ1 확률적 운동 패턴 분포를 모델링하는 것이 결정론적 운동 예측을 넘어서 비지도 다중 객체 세분화 성능을 향상시킬 수 있는가?
• RQ2 영상에서 물체가 움직이지 않더라도 영상 보조 신호가 정적 이미지 세분화 성능을 향상시킬 수 있는가?
• RQ3 영상 데이터로 학습한 모델이 테스트 시점에 새로운 물체 형태와 질감에 일반화될 수 있는가?
• RQ4 제안된 방법이 최신 기술 수준의 이미지 기반 및 영상 기반 비지도 세분화 모델과 비교해 어떻게 성능을 냈는가?
• RQ5 운동을 분포로 모델링함으로써 정적 물체를 포함한 운동 패턴을 다루는 것이, 운동 전용 또는 외관 전용 기준선에 비해 세분화 품질을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 CLEVR 및 ClevrTex 벤치마크에서 최신 기술 수준 성능을 달성하였으며, ClevrTex에서 평균 마스크 IoU는 72.78 ± 1.31, CLEVR에서는 76.01 ± 0.56을 기록하여 이전의 비지도 방법을 모두 능가했다.
• MOVi-A 및 MOVi-C 데이터셋에서 각각 77.43 ± 0.86 및 56.43 ± 0.80의 평균 마스크 IoU를 기록하며, 정성적 및 정량적 평가에서 SAVi, GWM, SCALOR를 모두 능가했다.
• 모델은 새로운 물체 형태와 질감에 대해 잘 일반화되며, 높은 시각적 복잡성의 환경에서도 강건성을 보였다.
• 기존의 이미지 재구성 모델(Slot Attention, IODINE 등)에 운동 인식 손실을 적용한 결과 성능 향상이 뚜렷하게 나타났으며, 이는 운동이 강력한 보조 신호임을 확인한다.
• 테스트 시점에 운동 정보를 사용하는 영상 기반 기준선을 능가함으로써, 영상 보조 신호를 정적 이미지 프레임워크 내에서 더 효과적으로 활용할 수 있음을 보여주었다.
• 제거 분석 결과, 운동을 분포로 모델링하는 것이 핵심임을 확인하였으며, 결정론적 운동 예측은 성능 저하를 초래함을 입증하였다.