[논문 리뷰] MAST: A Memory-Augmented Self-supervised Tracker

Zihang Lai, Erika Lu외 1명|arXiv (Cornell University)|2020. 02. 18.

Video Surveillance and Tracking Methods참고 문헌 71인용 수 8

한 줄 요약

MAST는 인간 레이블이 전혀 필요 없는 밀도 높은 추적 벤치마크에서 최신 기술 성능을 달성하는 메모리 보강형 자기지도 학습 추적기이다. 재구성 손실 최적화와 코arse-to-fine 메모리 기반 구조를 통해 MAST는 DAVIS-2017에서 이전 자기지도 학습 방법보다 15% 향상되었고, YouTube-VOS에서는 17% 향상되어 지도 학습 방법과 유사한 성능을 보이며, 알려지지 않은 객체 카테고리로의 제로샷 일반화 능력이 뛰어나다.

ABSTRACT

Recent interest in self-supervised dense tracking has yielded rapid progress, but performance still remains far from supervised methods. We propose a dense tracking model trained on videos without any annotations that surpasses previous self-supervised methods on existing benchmarks by a significant margin (+15%), and achieves performance comparable to supervised methods. In this paper, we first reassess the traditional choices used for self-supervised training and reconstruction loss by conducting thorough experiments that finally elucidate the optimal choices. Second, we further improve on existing methods by augmenting our architecture with a crucial memory component. Third, we benchmark on large-scale semi-supervised video object segmentation(aka. dense tracking), and propose a new metric: generalizability. Our first two contributions yield a self-supervised network that for the first time is competitive with supervised methods on standard evaluation metrics of dense tracking. When measuring generalizability, we show self-supervised approaches are actually superior to the majority of supervised methods. We believe this new generalizability metric can better capture the real-world use-cases for dense tracking, and will spur new interest in this research direction.

연구 동기 및 목표

• 자기지도 학습과 지도 학습 간 성능 격차를 줄이기 위해 훈련 목표와 아키텍처를 개선한다.
• 핵심 프레임 특징을 저장하고 검색하는 새로운 메모리 보강 기반 구조를 통해 장기 시퀀스에서의 추적기 이격 문제를 해결한다.
• 실제 환경에서 분포가 다른 객체 카테고리에 대해 더 잘 반영하는 실용적인 성능 평가 지표인 일반화 능력(Generalizability)을 제안한다.
• 자기지도 학습이 의미적 레이블 없이도 강력하고 보편적인 추적 표현을 학습시킬 수 있음을 입증한다.
• 자기지도 학습 모델이 알려지지 않은 객체 카테고리로의 일반화 능력이 많은 지도 학습 모델보다 뛰어나다는 것을 검증한다.

제안 방법

• 광범위한 아블레이션 스터디를 통해 자기지도 학습 훈련 목표, 특히 재구성 손실을 재평가하고 최적화한다.
• 핵심 프레임의 특징을 저장하는 메모리 백을 도입하여 장기적 맥락에 접근 가능하게 하여 추적기 이격 현상을 완화한다.
• 두 단계의 어텐션 메커니즘을 활용: 먼저 코arse 검색을 수행한 후 세밀한 매칭을 통해 관련 메모리 특징을 효율적으로 검색한다.
• 메모리 특징에 접근할 때 정확성과 계산 효율성을 균형 잡기 위해 코arse-to-fine 전략을 사용한다.
• 인스턴스 수준의 레이블 없이도 대규모 비트리밍 비디오 데이터셋에서 엔드 투 엔드로 모델을 훈련한다.
• 대비 학습과 특징 재구성 기법을 활용하여 픽셀 단위 추적을 위한 분류 능력이 뛰어나고 일반화 능력이 뛰어난 표현을 학습한다.

실험 결과

연구 질문

• RQ1 밀도 높은 추적에서 최고의 성능을 내기 위해 어떤 자기지도 학습 훈련 목표와 재구성 손실이 가장 효과적인가?
• RQ2 메모리 기반 기법은 자기지도 학습 추적에서 장기적 추적 안정성과 이격 현상을 어떻게 향상시킬 수 있는가?
• RQ3 자기지도 학습 추적기에서 메모리 프레임을 선택하고 접근하는 데 가장 적합한 전략은 무엇인가?
• RQ4 실제 환경에서 알려지지 않은 객체 카테고리로의 일반화 능력에서 자기지도 학습 모델이 지도 학습 모델보다 뛰어나게 되는가?
• RQ5 제안된 일반화 능력 지표는 실세계 추적 성능 평가에서 기존 표준 지표와 비교해 어떻게 다를까?

주요 결과

• MAST는 YouTube-VOS에서 평균 JIoU 64.2%를 기록하여 이전 최고의 자기지도 학습 방법(46.6%)보다 17.6% 향상되었고, 대부분의 지도 학습 기반 베이스라인을 초월했다.
• DAVIS-2017에서 MAST는 평균 JIoU 64.2%를 달성하여 이전 자기지도 학습 방법보다 15% 상대적 향상되었고, 지도 학습 모델과 유사한 성능을 보였다.
• YouTube-VOS에서 MAST는 본 적 있는 카테고리와 본 적 없는 카테고리 간 일반화 갭이 0.4에 불과하여, 베이스라인 평균 11.5보다 크게 낮았다.
• 피지컬 튜닝 없이도 MAST는 알려지지 않은 카테고리에서 2018년 YouTube-VOS 챌린지 우수자인 PreMVOS보다 3.9% 높은 성능을 기록하여 강력한 제로샷 일반화 능력을 입증했다.
• OSVOS와 STM 같은 지도 학습 모델과 경쟁 가능한 성능을 보였지만, 인스턴스 수준의 레이블이나 도메인 적응이 전혀 필요로 하지 않았다.
• 아블레이션 스터디를 통해 단기 및 장기 메모리 모두 최적 성능을 내기 위해 필수적임을 확인하여 메모리 보강 아키텍처 설계의 타당성을 입증했다.