[논문 리뷰] Learning Correspondence from the Cycle-Consistency of Time

Xiaolong Wang, Allan Jabri외 1명|arXiv (Cornell University)|2019. 03. 18.

Video Surveillance and Tracking Methods참고 문헌 83인용 수 6

한 줄 요약

이 논문은 시간에 따른 순환 일관성(의존성)을 자유로운 감독 신호로 사용하여 원시 영상에서 시각적 대응 관계를 학습하는 자기지도 학습 방법을 제안한다. 시간 순환을 통해 순환 일관성 있는 추적을 수행하도록 딥 테처 네트워크를 훈련시킴으로써, 모델은 옵티컬 플로우, 키포인트 추적, 인스턴스 세그멘테이션과 같은 후행 작업에 대해 피치블러스트(few-shot) 전이가 가능한 일반적인 표현을 학습한다. 이는 감독 학습 방법과 경쟁 가능한 성능을 보인다.

ABSTRACT

We introduce a self-supervised method for learning visual correspondence from unlabeled video. The main idea is to use cycle-consistency in time as free supervisory signal for learning visual representations from scratch. At training time, our model learns a feature map representation to be useful for performing cycle-consistent tracking. At test time, we use the acquired representation to find nearest neighbors across space and time. We demonstrate the generalizability of the representation -- without finetuning -- across a range of visual correspondence tasks, including video object segmentation, keypoint tracking, and optical flow. Our approach outperforms previous self-supervised methods and performs competitively with strongly supervised methods.

연구 동기 및 목표

• 인간의 애너테이션이나 합성 데이터 없이 레이블이 없는 영상에서 시각적 대응 관계 표현을 학습하는 것.
• 운동 및 환경적 요인로 인한 외관 변화가 발생하는 역동적인 환경에서의 대응 관계 학습 과제를 해결하는 것.
• 영상의 시간 연속성을 자기지도 신호로 활용하여 표현 학습을 수행하는 것.
• 피치블러스트(few-shot) 전이를 통해 미세조정 없이 다양한 대응 작업에 학습된 특징를 적용하는 것.
• 픽셀 수준에서 객체 수준까지의 다양한 추상 수준에 일반화 가능한 스케일링 가능한 종단 간 프레임워크를 개발하는 것.

제안 방법

• 시간에 따른 순환 일관성 추적을 자기지도 목표로 사용: 영상 시퀀스를 통해 패치를 정방향으로 추적한 후 역방향으로 추적하고, 원래 위치와 최종 위치 간의 거리를 손실로 사용한다.
• 딥 테처 공간에서의 템플릿 매칭을 수행하는 미분 가능한 추적기가 대응 관계를 추정하며, 네트워크는 순환 일관성의 최소화를 위해 훈련된다.
• 로컬 시간 변형(예: 조명 변화, 운동, 가림)에 대해 강건한 대응 관계를 지원하는 특징 표현을 학습한다.
• 스킵 사이클(프레임을 건너뛰는 사이클)을 포함한 다양한 사이클 길이를 동시에 최적화하여 가림 및 급격한 자세 변화를 처리한다.
• 훈련 과정이 짧은 기간 동안의 외관 변화에 불변인 시각 유사도 메트릭을 암묵적으로 학습한다.
• 테스트 시점에 최종 표현은 공간과 시간 간의 최근접 이웃 검색을 위한 독립적인 거리 메트릭으로 평가된다.

실험 결과

연구 질문

• RQ1 시간 순환 일관성이 인간의 애너테이션 없이도 강력하고 확장 가능한 감독 신호로 작용할 수 있는가?
• RQ2 원시 영상에서 훈련된 자기지도 표현이 옵티컬 플로우, 키포인트 추적, 인스턴스 세그멘테이션과 같은 다양한 대응 작업에 일반화 가능한가?
• RQ3 성능 및 일반화 능력 측면에서 제안된 방법은 감독 학습 및 이전 자기지도 접근법과 비교해 어떻게 성능을 내는가?
• RQ4 모델은 가림 및 급격한 외관 변화와 같은 도전적인 조건에서도 강건한 대응 관계를 학습할 수 있는가?
• RQ5 다양한 사이클 길이와 스킵 사이클의 사용이 훈련의 안정성과 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 DAVIS-2017 데이터셋에서 장거리 옵티컬 플로우 작업에서 자기지도 학습 방법 중 최고 성능을 기록했으며, FlowNet2 벤치마크에서 15.6%의 mIoU를 달성했다.
• 인간 부분 애너테이션 전파를 위한 VIP 데이터셋에서, 0.5 IoU 임계값에서 23.0%의 $AP^{r}_{ ext{vol}}$ 성능을 기록했으며, ImageNet 미리 훈련된 ResNet-50(24.2%)보다 뛰어났다.
• 텍스처 전파 작업에서는 6색 스트라이프의 구조를 모든 프레임에 걸쳐 정확하게 유지하는 데 성공하여 정밀한 대응 관계 학습 능력을 입증했다.
• 영상 프레임 재구성 작업에서는 픽셀 수준의 훈련 없이도 FlowNet2 및 ImageNet 미리 훈련된 모델보다 낮은 L1 재구성 오차를 기록했다(5프레임 간격: 60.4, 10프레임 간격: 76.4).
• 모델은 미세조정 없이도 비디오 객체 세그멘테이션, 키포인트 추적, 옵티컬 플로우 등 다양한 작업으로의 피치블러스트 전이가 가능하다.
• 완전한 감독 학습 모델과 경쟁 가능한 성능을 보였으며, VIP 데이터셋에서 37.9%의 mIoU를 기록했고, 완전한 감독 학습 SOTA(37.9%)와 매우 유사한 성능을 달성했다.