[논문 리뷰] TTVOS: Lightweight Video Object Segmentation with Adaptive Template Attention Module and Temporal Consistency Loss

Hyojin Park, Ganesh Venkatesh외 1명|arXiv (Cornell University)|2020. 11. 09.

Visual Attention and Saliency Detection참고 문헌 46인용 수 4

한 줄 요약

TTVOS는 짧은 기간 및 장기 매칭을 통해 속도와 정확도의 균형을 이루는 적응형 템플릿 매칭을 사용하는 경량의 준지도 학습 비디오 객체 세분화 모델을 제안한다. 오차 전파를 줄이기 위해 전이 행렬을 활용한 시간적 일관성 손실을 도입하여 DAVIS16에서 73.8 FPS로 79.5%의 J&F 점수를 달성하며, 이는 이전의 빠른 방법들을 능가하면서도 높은 효율성을 유지한다.

ABSTRACT

Semi-supervised video object segmentation (semi-VOS) is widely used in many applications. This task is tracking class-agnostic objects from a given target mask. For doing this, various approaches have been developed based on online-learning, memory networks, and optical flow. These methods show high accuracy but are hard to be utilized in real-world applications due to slow inference time and tremendous complexity. To resolve this problem, template matching methods are devised for fast processing speed but sacrificing lots of performance in previous models. We introduce a novel semi-VOS model based on a template matching method and a temporal consistency loss to reduce the performance gap from heavy models while expediting inference time a lot. Our template matching method consists of short-term and long-term matching. The short-term matching enhances target object localization, while long-term matching improves fine details and handles object shape-changing through the newly proposed adaptive template attention module. However, the long-term matching causes error-propagation due to the inflow of the past estimated results when updating the template. To mitigate this problem, we also propose a temporal consistency loss for better temporal coherence between neighboring frames by adopting the concept of a transition matrix. Our model obtains 79.5% J&F score at the speed of 73.8 FPS on the DAVIS16 benchmark. The code is available in https://github.com/HYOJINPARK/TTVOS.

연구 동기 및 목표

• 준지도 학습 비디오 객체 세분화(준지도-VOS)에서 추론 속도와 정확도 사이의 상충 관계를 해결하기 위해.
• 장기 템플릿 업데이트에 이전에 추정한 마스크를 사용함으로써 발생하는 오차 전파를 줄이기 위해.
• 광학 흐름이나 무거운 메모리 네트워크에 의존하지 않고 마스크 품질과 시간적 일관성을 향상시키기 위해.
• 실제 환경에 구현 가능한 빠르고 정확하며 경량의 모델을 개발하기 위해.

제안 방법

• 지난 프레임을 사용하여 국소화를 위한 짧은 기간 매칭과, 미세한 세부 정보 유지에 위한 적응형 템플릿을 사용하는 장기 매칭을 결합한 이중 매칭 메커니즘을 도입한다.
• 추가적인 특징 추출이나 추가 메모리 없이 현재 추정 마스크에서 장기 템플릿을 업데이트하는 적응형 템플릿 주의 모듈을 제안한다.
• 전이 행렬을 기반으로 한 새로운 시간적 일관성 손실을 설계하여 이전 프레임의 잘못 예측된 픽셀을 수정하고 오차 전파를 방지한다.
• 경량 백본(예: ResNet18)을 사용하고, 교차 엔트로피 손실과 제안된 시간적 일관성 손실을 결합하여 효율적인 훈련을 수행한다.
• 픽셀 수준의 상태 전이를 모델링하기 위해 전이 행렬을 사용하여 이전 프레임의 잘못된 양성 및 음성 예측을 수정하도록 유도한다.
• 다른 모델들(예: FRTM-VOS)에도 시간적 일관성 손실을 적용하여, 이 손실이 정확도 향상에 있어 일반화 가능성과 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 템플릿 기반 방법이 준지도-VOS에서 고정밀도를 유지하면서도 빠른 추론 속도를 달성할 수 있는가?
• RQ2 장기 템플릿 기반 추적에서 이전 예측으로 인한 오차 전파를 어떻게 완화할 수 있는가?
• RQ3 광학 흐름을 사용하지 않고도 전이 행렬 기반 시간적 일관성 손실이 마스크의 일관성을 향상시킬 수 있는가?
• RQ4 제안된 적응형 템플릿 주의 모듈이 형태 변화를 다루는 데 있어 고정 또는 전역 컨텍스트 템플릿보다 우수한 성능을 내는가?
• RQ5 시간적 일관성 손실이 다른 경량 VOS 모델의 정확도 향상에 일반화될 수 있는가?

주요 결과

• TTVOS는 DAVIS16 벤치마크에서 73.8 FPS로 79.5%의 J&F 점수를 달성하여 낮은 계산 비용으로도 높은 정확도를 입증한다.
• 제거 실험 결과, 짧은 기간 및 장기 매칭을 결합한 조합(실험6)이 유일한 매칭 유형을 사용하는 모델보다 최고의 성능을 보였다.
• FRTM-VOS에 시간적 일관성 손실을 적용했을 때 DAVIS16에서 정확도가 1.7% 향상되었고, DAVIS17에서는 1.6% 향상되었다.
• 장기 매칭 전용 모델보다 객체 정체성을 더 잘 유지하여 다중 객체 추적 시나리오에서 실패를 줄였다(여기서 DAVIS17에서 증명됨).
• 추가적인 특징 추출이나 메모리 오버헤드 없이도 적응형 템플릿 업데이트 메커니즘이 마스크 품질을 향상시켰다.
• 시간적 일관성 손실은 특히 경량 모델에서 오차 전파를 크게 줄여주었으며, 이는 이전 프레임의 잘못된 예측을 수정함으로써 가능했다.