[논문 리뷰] Key Instance Selection for Unsupervised Video Object Segmentation

Donghyeon Cho, Sungeun Hong외 2명|arXiv (Cornell University)|2019. 06. 18.

Visual Attention and Saliency Detection참고 문헌 9인용 수 10

한 줄 요약

이 논문은 비지도 비디오 객체 분할(UVOS)을 위한 핵심 인스턴스 선택 방법을 제안하며, 비디오 시각적 주목도와 외관 빈도를 기반으로 K개의 두드러진 인스턴스를 선택하여 효율성과 정확도를 향상시킨다. ReID 기술자, 궤적 일관성, 의미적 동시 분할을 통합한 ID 할당과, 프레임 M 이후 시각적 주목도 기반 선택을 통해 DAVIS UVOS 랭킹에서 3위를 기록했으며, 낮은 K 값에서도 뛰어난 성능을 보였다.

ABSTRACT

This paper proposes key instance selection based on video saliency covering objectness and dynamics for unsupervised video object segmentation (UVOS). Our method takes frames sequentially and extracts object proposals with corresponding masks for each frame. We link objects according to their similarity until the M-th frame and then assign them unique IDs (i.e., instances). Similarity measure takes into account multiple properties such as ReID descriptor, expected trajectory, and semantic co-segmentation result. After M-th frame, we select K IDs based on video saliency and frequency of appearance; then only these key IDs are tracked through the remaining frames. Thanks to these technical contributions, our results are ranked third on the leaderboard of UVOS DAVIS challenge.

연구 동기 및 목표

• 초기 프레임 마스크 없이도 지속적인 ID 할당의 비효율성과 불안정성을 해결하기 위해.
• 초기 프레임 윈도우 이후 고정된 K개의 추적 인스턴스로 제한하여 시간 및 메모리 복잡도를 감소시키기 위해.
• 의미적 주목도와 빈번히 나타나는 객체를 핵심 인스턴스로 선택하여 분할 정확도를 향상시키기 위해.
• 다중 모odal 유사도 점수를 활용해 가림 및 외관 변화 상황에서도 견고한 추적을 가능하게 하기 위해.

제안 방법

• Mask R-CNN과 DeepLab을 사용해 인스턴스 분할을 수행하고, RGMP를 활용해 마스크 전파를 수행하여 후보 마스크를 생성한다.
• IOU, 궤적 일관성, ReID 기술자 거리, 상대 ReID 유사도를 조합한 가중 점수를 통해 ID 할당을 수행한다.
• 신규 ID는 프레임 M까지만 추가되며, 이후 시각적 주목도-빈도 가중 점수를 기반으로 K개의 핵심 인스턴스를 선택한다.
• 시각적 주목도는 비디오 시각적 주목도 점수를 활용해 프레임 범위에서 계산되며, 빈도는 각 ID가 프레임 M까지 나타난 횟수를 세는 방식이다.
• 144개의 GPU를 활용한 메타학습 시스템을 통해 최적의 하이퍼파rameter를 자동으로 탐색한다.
• ReID 기술자, 예측된 궤적, 의미적 동시 분할을 조합한 다중 해상도 유사도 지표를 도입해 외관 변화에 대한 내성 강도를 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 비디오 객체 분할에서 비디오 시각적 주목도와 외관 빈도를 효과적으로 활용해 핵심 인스턴스를 선택할 수 있는가?
• RQ2 낮은 K 값에서 시각적 주목도 기반 인스턴스 선택이 무작위 선택 대비 분할 정확도에서 어떻게 성능을 냈는가?
• RQ3 정답 마스크가 없는 상황에서 ReID 기술자와 궤적 일관성이 ID 할당의 견고성에 얼마나 기여하는가?
• RQ4 확장 가능한 하이퍼파rameter 탐색 프레임워크는 UVOS 벤치마크에서 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 DAVIS UVOS 검증 세트에서 전역 평균 JIoU 0.599와 F-측정값 0.599를 기록하여 공식 랭킹에서 3위를 달성했다.
• K=5일 때 전역 평균 0.576을 기록하여 무작위 선택(0.474)을 크게 앞서며, 최소한의 인스턴스로도 뛰어난 성능을 보였다.
• 크기 변화와 외관 변화에 대해 뛰어난 견고성을 보였으며, 'mbike-trick'과 'lab-coat'와 같은 객체를 다이나믹한 환경에서도 성공적으로 분할했다.
• 광학 흐름 대신 의미적 동시 분할을 사용함으로써 큰 외관 변화 상황에서 성능 향상이 확인되었으며, 분석 결과로도 뒷받침되었다.
• 시각적 주목도 기반 선택 전략은 낮은 K에서 시간 및 메모리 복잡도를 감소시키면서도 높은 정확도를 유지하는 데 기여했다.
• Meta AI 시스템을 활용한 하이퍼파rameter 탐색을 통해 최적의 가중치를 도출하였으며, w_iou=0.12, w_traj=0.575, w_reid=0.3, w_rel=0.0065, τ1=0.55, τ2=0.35, w_sal=0.5, w_freq=1.0로 설정되었다.