[논문 리뷰] Self-supervised Amodal Video Object Segmentation

Jian Yao, Yuxin Hong외 7명|arXiv (Cornell University)|2022. 10. 23.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 자가학습 비디오 객체 분할 프레임워크인 SaVos를 제안한다. 이 프레임워크는 시각적 객체 부분을 활용하여 가림된 영역을 설명하기 위해 시공간 사전 지식을 사용함으로써, 명시적 아모달(annotation)이 없는 상태에서 완전한(아모달) 객체 마스크를 추론한다. 이는 합성(FISHBOWL) 및 실세계(KINS-Video-Car) 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 테스트 시 적응을 통해 강력한 일반화 성능을 보이며, 타겟 도메인 데이터로 훈련된 모델들을 능가한다.

ABSTRACT

Amodal perception requires inferring the full shape of an object that is partially occluded. This task is particularly challenging on two levels: (1) it requires more information than what is contained in the instant retina or imaging sensor, (2) it is difficult to obtain enough well-annotated amodal labels for supervision. To this end, this paper develops a new framework of Self-supervised amodal Video object segmentation (SaVos). Our method efficiently leverages the visual information of video temporal sequences to infer the amodal mask of objects. The key intuition is that the occluded part of an object can be explained away if that part is visible in other frames, possibly deformed as long as the deformation can be reasonably learned. Accordingly, we derive a novel self-supervised learning paradigm that efficiently utilizes the visible object parts as the supervision to guide the training on videos. In addition to learning type prior to complete masks for known types, SaVos also learns the spatiotemporal prior, which is also useful for the amodal task and could generalize to unseen types. The proposed framework achieves the state-of-the-art performance on the synthetic amodal segmentation benchmark FISHBOWL and the real world benchmark KINS-Video-Car. Further, it lends itself well to being transferred to novel distributions using test-time adaptation, outperforming existing models even after the transfer to a new distribution.

연구 동기 및 목표

• 비용이 많이 드는 아모달(annotation)에 의존하지 않고 아모달 비디오 객체 분할 문제를 해결하기 위해.
• 시간적 비디오 시퀀스를 활용하여 다른 프레임에서의 시각적 부분을 자가학습 신호로 삼아 가려진 객체 부분을 추론하기 위해.
• 시공간 사전 지식과 테스트 시 적응을 통해 예측할 수 없는 객체 유형과 분포 이탈에 대한 일반화 성능을 향상시키기 위해.
• 테스트 시 적응에 본질적으로 적합한 모델을 개발하여, 재학습 없이도 새로운 분포에서 성능 향상을 이끌어내기 위해.

제안 방법

• 시간적 일관성을 자가학습 신호로 삼아, visible과 occluded 영역을 연결하는 밀도 있는 아모달 객체 운동을 학습한다.
• 아모달 마스크와 아모달 마스크 상의 밀도 있는 운동을 동시에 예측함으로써, 직접적인 픽셀 대응 관계를 요구하지 않고도 시공간적 구조를 활용한다.
• 게슈탈트 심리학의 공통 운명 원칙(common-fate principle)에서 유도된 인도적 편향(inductive bias)을 새로운 아키텍처 설계에 통합하여, 가려진 영역에서의 운동 및 마스크 예측 성능을 향상시킨다.
• 자기학습 신호로 다른 프레임의 시각적 마스크를 활용하며, 오버피팅을 방지하기 위해 오직 시각적 부분만을 최적화하는 대체 손실 함수를 사용한다.
• 자기학습 손실을 수정하지 않고도 테스트 시 적응을 적용하며, 과다 완성 방지를 위해 조기 정지(early stopping)를 사용하여 일반화 성능을 유지한다.
• 모델은 시공간 사전 지식과 암묵적인 유형 사전 지식을 함께 학습하며, 적응 과정에서 후자를 억제함으로써 예측할 수 없는 유형에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다른 비디오 프레임에서의 시각적 객체 부분이 명시적 아모달 annotation 없이도 자가학습을 통해 아모달 마스크 예측에 효과적으로 활용될 수 있는가?
• RQ2 시공간 사전 지식을 어떻게 활용하여 유형 기반 사전 지식을 초월해 아모달 분할 성능을 향상시킬 수 있는가?
• RQ3 제안된 자기학습 프레임워크가 이미지 수준 기반 베이스라인보다 예측할 수 없는 객체 유형과 분포 이탈에 더 잘 일반화되는가?
• RQ4 왜 테스트 시 적응이 SaVos에 대해 다른 자기학습 방법보다 특히 효과적인가?

주요 결과

• SaVos는 자기학습 설정에서 합성 FISHBOWL 벤치마크와 실세계 KINS-Video-Car 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.
• KINS-Video-Car에서, 합성 물고기 데이터로 훈련된 SaVos는 실세계 주행 자동차 데이터셋으로 미세조정된 모델보다 테스트 시 적응 후 성능이 뛰어나다.
• 테스트 시 적응은 일반화 성능을 크게 향상시키며, SaVos는 Self-Deocclusion과 같은 이미지 수준 기반 베이스라인보다 더 큰 성능 향상을 보인다.
• 모델은 암묵적으로 유형 사전 지식을 학습하지만, 테스트 시 적응 중 조기 정지를 통해 과다 완성과 예측 불가 유형에 대한 침범적인 예측을 억제한다.
• 자기학습 손실 설계 덕분에 테스트 시 적응이 효율적으로 이루어지며, 아모달 운동 모델링을 통해 훈련 신호가 테스트 비디오의 가려진 영역과 직접적으로 일치한다.
• 실험 결과, SaVos는 다른 자기학습 방법보다 더 적응에 유리한 편이며, 이는 손실 설계가 분포 이탈 일반화에 더 적합하다는 것을 시사한다.