[논문 리뷰] Motion-inductive Self-supervised Object Discovery in Videos

Shuangrui Ding, Weidi Xie외 5명|arXiv (Cornell University)|2022. 10. 01.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 광학 흐름을 입력으로 사용하지 않고도 RGB 프레임을 직접 처리하여 운동 유도 세그멘테이션 마스크를 추론하는 자기지도 학습 비디오 객체 탐지 모델 MOD를 제안한다. 무작위 쌍 조합 전략을 사용하고 추론된 마스크에 시간적 일관성을 강제 적용함으로써, DAVIS2016, SegTrackv2, FBMS-59에서 최신 기술 수준의 성능을 달성하면서도 광학 흐름 계산 오버헤드를 피한다.

ABSTRACT

In this paper, we consider the task of unsupervised object discovery in videos. Previous works have shown promising results via processing optical flows to segment objects. However, taking flow as input brings about two drawbacks. First, flow cannot capture sufficient cues when objects remain static or partially occluded. Second, it is challenging to establish temporal coherency from flow-only input, due to the missing texture information. To tackle these limitations, we propose a model for directly processing consecutive RGB frames, and infer the optical flow between any pair of frames using a layered representation, with the opacity channels being treated as the segmentation. Additionally, to enforce object permanence, we apply temporal consistency loss on the inferred masks from randomly-paired frames, which refer to the motions at different paces, and encourage the model to segment the objects even if they may not move at the current time point. Experimentally, we demonstrate superior performance over previous state-of-the-art methods on three public video segmentation datasets (DAVIS2016, SegTrackv2, and FBMS-59), while being computationally efficient by avoiding the overhead of computing optical flow as input.

연구 동기 및 목표

• 광학 흐름 기반 방법의 단점을 해결하기 위해, 정적 또는 가림된 운동 상황에서 실패하는 문제를 해결한다.
• 객체가 특정 시점에 움직이지 않더라도 이를 추적할 수 있도록 객체 지속성(Permanence)을 구현한다.
• 추론 시 광학 흐름 계산이 필요 없도록 RGB 프레임에 직접 훈련함으로써 광학 흐름 계산을 제거한다.
• 무작위 프레임 쌍과 시간적 일관성을 활용한 자기지도 학습 프록시 과제를 개발하여 마스크 예측을 이끌어내는 데 사용한다.
• 표준 벤치마크에서 높은 세그멘테이션 정확도를 달성하면서도 계산 효율성을 유지한다.

제안 방법

• 모델은 시각 인코더를 사용해 연속적인 RGB 프레임을 인코딩하고, 후기 융합형 트랜스포머 인코더를 통해 특징을 융합한다.
• 프레임 비교 모듈이 무작위로 쌍지어진 프레임 특징을 처리하여 상대 운동을 인코딩함으로써, 명시적인 흐름 입력 없이도 운동 유도를 가능하게 한다.
• 이중 레이어 흐름 복원 헤드는 운동 특징을 광학 흐름으로 복원하며, 각 레이어의 투명도 가중치를 세그멘테이션 마스크로 간주한다.
• 모델는 자기지도 학습 프록시 과제를 통해 훈련되며, 외부 흐름 추정기(RAFT 등)를 사용해 무작위 프레임 쌍 간의 광학 흐름을 재구성하는 데 지도로 사용한다.
• 무작위로 쌍지어진 프레임에서 추론된 마스크에 시간적 일관성 손실를 적용하여 객체 지속성과 정적 또는 부분적으로 가려진 객체에 대한 강건성을 향상시킨다.
• 훈련 및 추론 과정에서 모든 지도 마스크 레이블이 제거되어, RGB 시퀀스에서 유도된 운동 신호에만 의존한다.

실험 결과

연구 질문

• RQ1 광학 흐름을 입력으로 사용하지 않고도 RGB 프레임만으로 자기지도 학습 모델이 비디오에서 움직이는 객체를 탐지할 수 있는가?
• RQ2 무작위로 쌍지어진 프레임에서 추론된 세그멘테이션 마스크에 시간적 일관성을 어떻게 강제 적용할 수 있는가? 특히 정적 또는 가려진 객체 상황에서 객체 지속성을 향상시키기 위해선 어떻게 해야 하는가?
• RQ3 프레임 특징에 대해 무작위 쌍 조합 전략을 적용하면 운동 이해를 효과적으로 유도하고 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ4 RGB 프레임의 풍부한 무늬 정보를 활용하면 운동 신호가 약한 상황에서 광학 흐름 전용 기반 모델보다 더 우수한 성능을 내는가?
• RQ5 마스크 지도 레이블 없이 훈련된 모델이 표준 비디오 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 MOD 모델은 DAVIS2016, SegTrackv2, FBMS-59에서 이전의 자기지도 학습 및 지도 학습 방법을 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• 무작위로 쌍지어진 프레임에 대해 시간적 일관성을 강제 적용함으로써 정적 또는 부분적으로 가려진 객체에 대해 더 뛰어난 일반화 성능을 보인다.
• 명시적인 광학 흐름 계산을 피함으로써, 광학 흐름 기반 기반 모델 대비 더 빠른 추론 속도를 확보한다.
• 절단 실험 결과, 무작위 쌍 조합 전략과 시간적 일관성 손실가 성능 향상에 핵심적인 역할을 하며, 특히 운동 불연속 상황에서 유의미한 영향을 미친다.
• 광학 흐름 전용 기반 모델이 운동 신호가 약할 경우 실패하는 것과는 달리, RGB 프레임의 풍부한 무늬 정보를 활용함으로써 더 강력하고 정확한 마스크 예측이 가능하다.
• 객체가 특정 시점에 움직이지 않더라도, 시간에 걸쳐 무늬 패턴을 탐색함으로써 객체 지속성을 성공적으로 학습한다.