[논문 리뷰] The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos

Runtao Liu, Zhirong Wu외 2명|arXiv (Cornell University)|2021. 11. 11.

Visual Attention and Saliency Detection참고 문헌 66인용 수 13

한 줄 요약

이 논문은 새로운 세그먼트 플로우 표현을 통해 외관과 운동 표현을 동시에 학습함으로써 영상에서 제로샷 객체 세분화를 위한 종단간(end-to-end), 자기지도 학습 프레임워크를 제안한다. 세그먼트 플로우를 사용하여 시각 복원 오차를 최소화함으로써, 모델은 감독 없이도 움직이는 객체와 그 영역을 학습하게 되며, 데이터 증강 없이도 기존의 대비 학습 방법을 뛰어넘는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Humans can easily segment moving objects without knowing what they are. That objectness could emerge from continuous visual observations motivates us to model grouping and movement concurrently from unlabeled videos. Our premise is that a video has different views of the same scene related by moving components, and the right region segmentation and region flow would allow mutual view synthesis which can be checked from the data itself without any external supervision. Our model starts with two separate pathways: an appearance pathway that outputs feature-based region segmentation for a single image, and a motion pathway that outputs motion features for a pair of images. It then binds them in a conjoint representation called segment flow that pools flow offsets over each region and provides a gross characterization of moving regions for the entire scene. By training the model to minimize view synthesis errors based on segment flow, our appearance and motion pathways learn region segmentation and flow estimation automatically without building them up from low-level edges or optical flows respectively. Our model demonstrates the surprising emergence of objectness in the appearance pathway, surpassing prior works on zero-shot object segmentation from an image, moving object segmentation from a video with unsupervised test-time adaptation, and semantic image segmentation by supervised fine-tuning. Our work is the first truly end-to-end zero-shot object segmentation from videos. It not only develops generic objectness for segmentation and tracking, but also outperforms prevalent image-based contrastive learning methods without augmentation engineering.

연구 동기 및 목표

• 라벨이 없는 데이터에 의존하지 않고 영상에서 진정한 종단간 제로샷 객체 세분화 방법을 개발하는 것.
• 외관과 운동을 함께 모델링함으로써, 라벨이 없는 영상 데이터에서 객체 인식(특정 움직이는 객체로 인식하는 능력)이 어떻게 유도될 수 있는지 탐구하는 것.
• 영상의 시간적 일관성을 활용하여 움직이는 객체 세분화에 대한 비지도 테스트 시점 적응을 가능하게 하는 것.
• 피팅 튜닝이나 데이터 증강 없이도 이전의 방법들을 뛰어넘는 제로샷 객체 세분화 및 의미적 이미지 세분화 성능을 달성하는 것.

제안 방법

• 모델은 단일 이미지에서 특징 기반 영역 세분화를 위한 외관 경로와 이미지 쌍 간의 운동 특징을 추정하기 위한 운동 경로를 각각 사용한다.
• 각 세그먼트 영역에 대해 옵티컬 플로우 오프셋을 풀링하여 장면 내 움직이는 구성 요소를 기술하는 새로운 공통 표현인 세그먼트 플로우를 도입한다.
• 세그먼트 플로우를 감독 신호로 사용하여 동일한 장면의 서로 다른 시각 간의 시각 복원 재구성 오차를 최소화함으로써 모델을 종단간으로 훈련시킨다.
• 세그먼트 플로우 덕분에 상호 시각 복원이 가능해져, 모델이 외부 감독 없이 데이터 그 자체로부터 예측을 직접 검증할 수 있다.
• 외관 경로와 운동 경로를 함께 최적화하여 동시에 영역 세분화와 플로우 추정 성능을 향상시킨다.
• 저수준의 에지나 옵티컬 플로우 감독에 의존하는 것을 피하고, 대신 재구성 손실을 통해 이를 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 영상에서 외관과 운동을 함께 모델링함으로써, 감독 없이도 객체 인식이 유도될 수 있는가?
• RQ2 데이터 증강이나 피팅 튜닝 없이도 자기지도 학습 프레임워크가 최신 기술 수준의 제로샷 객체 세분화 성능을 달성할 수 있는가?
• RQ3 세그먼트 플로우를 감독 신호로 사용할 경우, 정확하고 일반화 능력이 뛰어난 영역 세분화 및 운동 추정이 가능해지는가?
• RQ4 움직이는 객체 세분화에 대한 비지도 테스트 시점 적응에서 모델의 성능은 어떠한가?
• RQ5 이러한 접근 방식이 데이터 증강에 의존하는 대비 학습 방법을 제로샷 세분화 작업에서 뛰어넘을 수 있는가?

주요 결과

• 모델은 피팅 튜닝 없이도 이미지에서 제로샷 객체 세분화 성능에서 최신 기술 수준을 달성하며, 이전의 방법들을 뛰어넘는다.
• 비지도 테스트 시점 적응을 통해 영상에서 움직이는 객체 세분화에 대해 강력한 일반화 성능을 보인다.
• 외관 경로는 감독 없이도 객체 유사 영역을 탐지하도록 학습하여 영상 데이터에서 객체 인식이 유도됨을 시사한다.
• 데이터 증강에 의존하는 대비 학습 방법조차도 이 방법이 이를 뛰어넘는다.
• 세그먼트 플로우 표현은 정확한 상호 시각 복원을 가능하게 하여 모델의 내부 일관성과 강건성을 검증한다.
• 이 프레임워크는 라벨이 없는 영상만으로 훈련된 진정한 종단간 제로샷 객체 세분화 시스템으로서 최초의 사례이다.