[논문 리뷰] Anchor Diffusion for Unsupervised Video Object Segmentation

Zhao Yang, Qiang Wang외 4명|arXiv (Cornell University)|2019. 10. 24.

Visual Attention and Saliency Detection참고 문헌 67인용 수 21

한 줄 요약

이 논문은 비순차적 비디오 오브제クト 세그멘테이션을 위한 새로운 비지도 학습 방법인 앵커 디퓨전 네트워크(AD-Net)를 제안한다. 이 방법은 비슷한 주기적 구조를 가진 어텐션 메커니즘을 사용하여 기준 '앵커' 프레임과 현재 프레임 간의 조밀한 픽셀 수준 유사도를 학습함으로써 장기적인 시간적 의존성을 모델링한다. 순환 신경망이나 옵티컬 플로우 없이도 AD-Net은 DAVIS-2016에서 평균 IoU 81.7%의 최고 성능을 기록하여 이전의 비지도 방법들보다 2.2% 높으며, 장기적인 드리프트에 대해 매우 강건하다.

ABSTRACT

Unsupervised video object segmentation has often been tackled by methods based on recurrent neural networks and optical flow. Despite their complexity, these kinds of approaches tend to favour short-term temporal dependencies and are thus prone to accumulating inaccuracies, which cause drift over time. Moreover, simple (static) image segmentation models, alone, can perform competitively against these methods, which further suggests that the way temporal dependencies are modelled should be reconsidered. Motivated by these observations, in this paper we explore simple yet effective strategies to model long-term temporal dependencies. Inspired by the non-local operators of [70], we introduce a technique to establish dense correspondences between pixel embeddings of a reference "anchor" frame and the current one. This allows the learning of pairwise dependencies at arbitrarily long distances without conditioning on intermediate frames. Without online supervision, our approach can suppress the background and precisely segment the foreground object even in challenging scenarios, while maintaining consistent performance over time. With a mean IoU of $81.7\%$, our method ranks first on the DAVIS-2016 leaderboard of unsupervised methods, while still being competitive against state-of-the-art online semi-supervised approaches. We further evaluate our method on the FBMS dataset and the ViSal video saliency dataset, showing results competitive with the state of the art.

연구 동기 및 목표

• 순환 또는 플로우 기반 시간 모델링으로 인한 누적 오류와 장기적 드리프트 문제를 해결하기 위해.
• 복잡한 RNN 또는 옵티컬 플로우 기반 모델보다 단순한 비순차적 방법이 비지도 VOS에서 더 나은 성능을 낼 수 있는지 탐색하기 위해.
• 멀리 떨어진 프레임 간의 조밀하고 장거리 픽셀 수준의 대응 관계가 배경을 효과적으로 억제하고 전경 오브제クト를 세그멘테이션하는 데 기여하는지 조사하기 위해.
• 비지도 및 시각적 주목도 탐지 설정에서 DAVIS-2016, FBMS, ViSal을 포함한 여러 벤치마크에서의 일반화 능력을 평가하기 위해.

제안 방법

• 이 방법은 기준 프레임인 '앵커' 프레임을 사용하며, 이 프레임의 픽셀 임베딩을 사용해 현재 프레임의 임베딩과 조밀한 유사도를 계산한다.
• 비슷한 주기적 어텐션 메커니즘을 사용하여 앵커 프레임 픽셀과 현재 프레임의 모든 픽셀 간의 쌍별 유사도를 계산함으로써 장거리 의존성 모델링을 가능하게 한다.
• 유사도 맵은 특징을 집계하고 세그멘테이션 마스크를 생성하는 데 사용되며, 전경 오브제クト는 공간적으로 일관된 높은 유사도로 강조된다.
• 순차적 처리를 피하기 위해 앵커 프레임을 언제나 현재 프레임과 직접 연결함으로써 시간에 따른 오류 전파를 제거한다.
• 전체 네트워크를 대비 손실을 사용해 엔드 투 엔드로 훈련하며, 앵커 프레임의 전경 픽셀이 현재 프레임의 대응 픽셀과 높은 유사도를 가지도록 유도한다.
• 추론 중에 온라인 미세조정이나 후처리가 필요 없어 실시간이고 강건한 세그멘테이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비순차적이고 어텐션 기반의 방법이 장거리 시간적 의존성을 모델링하면 RNN 및 옵티컬 플로우 기반 비지도 VOS 방법보다 성능이 뛰어날 수 있는가?
• RQ2 고정된 앵커 프레임과 현재 프레임 간의 조밀한 픽셀 수준의 유사도를 학습함으로써 비지도 비디오 세그멘테이션에서 장기적 드리프트를 줄일 수 있는가?
• RQ3 장거리 어텐션으로 강화된 단순한 정적 이미지 세그멘테이션 모델이 비지도 VOS에서 복잡한 순환 또는 플로우 기반 아키텍처를 능가할 수 있는가?
• RQ4 제안된 방법이 ViSal 및 FBMS와 같은 비디오 주목도 벤치마크로의 일반화 능력은 어느 정도인가?

주요 결과

• AD-Net은 DAVIS-2016 비지도 VOS 벤치마크에서 평균 IoU 81.7%를 기록하여 비지도 방법 중에서 1위를 차지하고 이전 최고 성능보다 2.2% 높다.
• FBMS 데이터셋에서 AD-Net은 모든 방법 중 가장 높은 F-측정치와 가장 낮은 MAE를 기록하여 강력한 일반화 능력과 강건성을 입증했다.
• ViSal 주목도 벤치마크에서 AD-Net은 가장 낮은 MAE(0.030)를 기록했으며, 60%까지의 재현율에서 거의 완벽한 정밀도를 유지하여 기존 주목도 모델을 능가했다.
• 주목도 탐지에 대해 훈련되지 않았음에도 불구하고, AD-Net은 DAVIS와 FBMS에서 주목도 지표로 최고 성능을 기록하여 강력한 전이 가능성(transferability)을 보였다.
• 외관 변화나 운동 불연속성 조건에서도 장시간 영상 시퀀스 동안 일관된 성능을 유지하며 최소한의 드리프트를 보였다.
• 제거 실험 결과 비슷한 주기적 어텐션 메커니즘이 장거리 모델링에 핵심적임을 확인했으며, 이를 제거하면 성능이 크게 떨어졌다.