[논문 리뷰] Video Object Segmentation with Joint Re-identification and Attention-Aware Mask Propagation

Xiaoxiao Li, Chen Change Loy|arXiv (Cornell University)|2018. 03. 12.

Visual Attention and Saliency Detection참고 문헌 26인용 수 5

한 줄 요약

이 논문은 재식별과 주의 기반 순환 마스크 전파를 동시에 수행하는 통합형 엔드 투 엔드 딥 러닝 프레임워크인 DyeNet을 제안한다. 반복적으로 템플릿을 확장하고, 방해 요소를 억제하기 위해 주의 메커니즘을 사용함으로써, DyeNet은 DAVIS 2017 테스트-디브 세트에서 68.2의 글로벌 평균(Jaccard 및 경계 F-측정)을 기록하여 이전의 방법들, 특히 대회 수상 솔루션을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The problem of video object segmentation can become extremely challenging when multiple instances co-exist. While each instance may exhibit large scale and pose variations, the problem is compounded when instances occlude each other causing failures in tracking. In this study, we formulate a deep recurrent network that is capable of segmenting and tracking objects in video simultaneously by their temporal continuity, yet able to re-identify them when they re-appear after a prolonged occlusion. We combine both temporal propagation and re-identification functionalities into a single framework that can be trained end-to-end. In particular, we present a re-identification module with template expansion to retrieve missing objects despite their large appearance changes. In addition, we contribute a new attention-based recurrent mask propagation approach that is robust to distractors not belonging to the target segment. Our approach achieves a new state-of-the-art global mean (Region Jaccard and Boundary F measure) of 68.2 on the challenging DAVIS 2017 benchmark (test-dev set), outperforming the winning solution which achieves a global mean of 66.1 on the same partition.

연구 동기 및 목표

• 심한 가림과 큰 외관 변화가 존재하는 다수의 영상 객체를 분할하는 과제를 해결한다.
• 장기적인 가림과 방해 요소를 다루는 데에 한계가 있는 템플릿 기반 추적 및 시간적 전파 기법의 문제점을 극복한다.
• 정확도와 내성성을 향상시키기 위해 재식별과 마스크 전파를 통합한 통합형 엔드 투 엔드 훈련 가능한 프레임워크를 개발한다.
• 객체가 다시 나타날 때 큰 자세 및 스케일 변화를 다룰 수 있도록 효과적인 템플릿 확장을 가능하게 한다.
• 주목적 기반 순환 네트워크를 도입하여 순환 마스크 전파 중 배경 혼잡과 오분류된 세그먼트에 대한 내성성을 향상시킨다.

제안 방법

• 재식별(Re-ID) 모듈과 순환 마스크 전파(Re-MP) 모듈을 결합한 통합 프레임워크인 DyeNet을 제안하여 엔드 투 엔드 훈련을 가능하게 한다.
• 재식별 모듈 내에서 반복적인 템플릿 확장 전략을 구현하여 참조 템플릿 집합을 동적으로 증가시켜 장기적인 가림 이후 객체 복구 능력을 향상시킨다.
• 배경 객체나 다른 세그먼트와 같은 방해 요소를 억제하면서 마스크 전파를 안내하는 주의 기반 순환 네트워크를 Re-MP 모듈에 도입한다.
• 재식별으로 확인된 신뢰도가 높은 시작 지점에서 양방향 마스크 전파를 수행하여 전체 영상 시퀀스를 커버한다.
• DAVIS 2017에서 엔드 투 엔드 훈련을 수행하며, 성능 향상을 위해 온라인 미세조정을 선택적으로 적용할 수 있다.
• 공유된 백본 네트워크에서 추출한 특징 맵을 사용하여 Re-ID 및 Re-MP 모듈을 지원함으로써 특징 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 통합형 딥 네트워크가 영상 객체 분할을 위해 재식별과 순환 마스크 전파를 동시에 최적화할 수 있는가?
• RQ2 반복적인 템플릿 확장 전략이 큰 자세 및 스케일 변화 상황에서 재식별 성능을 어떻게 향상시키는가?
• RQ3 순환 전파에 주목적 기반 메커니즘이 통합될 경우, 방해 요소와 배경 혼잡에 대한 내성성은 어느 정도 향상되는가?
• RQ4 제안된 프레임워크는 도메인 특화 미세조정 없이 다양한 데이터셋에 일반화 가능한가?
• RQ5 오프라인 추론 대비 엔드 투 엔드 훈련에 온라인 미세조정을 적용했을 때의 성능 향상은 어느 정도인가?

주요 결과

• DyeNet은 DAVIS 2017 테스트-디브 세트에서 68.2의 새로운 최고 성능 글로벌 평균을 기록하여 수상한 솔루션의 66.1을 초월한다.
• 온라인 미세조정을 적용한 DyeNet은 68.2 글로벌 평균을 달성했고, 오프라인 버전은 62.5에 도달하여 적응 없이도 뛰어난 성능를 보였다.
• DAVIS 16에서 DyeNet은 온라인 미세조정 후 86.2 mIoU를 기록하여 이전의 최고 기술 수준 방법들을 능가했다.
• SegTrack v2와 YouTubeObjects에서 DyeNet은 온라인 미세조정 후 각각 78.7과 79.6 mIoU를 기록하여 다양한 데이터셋 간 전이 성능가 뛰어났다.
• 오프라인 DyeNet은 단일 Titan Xp GPU에서 2.4 FPS로 실행되어, 프레임당 13초 이상 소요되는 기존 방법들보다 훨씬 빠르게 작동했다.
• YouTubeObjects에서 오프라인 DyeNet의 예측 성능는 많은 지표 레이블의 성능를 초월했으며, 이는 높은 신뢰성과 낮은 지표 편향 영향을 반영한다.