[논문 리뷰] Joint-task Self-supervised Learning for Temporal Correspondence

Xueting Li, Sifei Liu외 4명|arXiv (Cornell University)|2019. 09. 26.

Video Surveillance and Tracking Methods인용 수 53

한 줄 요약

자기지도(self-supervised) 프레임워크가 프레임 간의 공유된 상호-프레임 친화도 행렬을 사용하여 비디오 프레임 간 영역 수준 로컬라이제이션과 픽셀 수준의 밀집 대응을 공동으로 학습하고, 주석 없이 다양한 비디오 대응 작업의 성능을 향상시킨다.

ABSTRACT

This paper proposes to learn reliable dense correspondence from videos in a self-supervised manner. Our learning process integrates two highly related tasks: tracking large image regions \emph{and} establishing fine-grained pixel-level associations between consecutive video frames. We exploit the synergy between both tasks through a shared inter-frame affinity matrix, which simultaneously models transitions between video frames at both the region- and pixel-levels. While region-level localization helps reduce ambiguities in fine-grained matching by narrowing down search regions; fine-grained matching provides bottom-up features to facilitate region-level localization. Our method outperforms the state-of-the-art self-supervised methods on a variety of visual correspondence tasks, including video-object and part-segmentation propagation, keypoint tracking, and object tracking. Our self-supervised method even surpasses the fully-supervised affinity feature representation obtained from a ResNet-18 pre-trained on the ImageNet.

연구 동기 및 목표

• 주석 없이 비디오로부터 시각적 대응을 학습하도록 지역 수준과 픽셀 수준 작업을 통합하는 것의 동기를 부여한다.
• 로컬라이제이션과 세밀한 매칭을 모두 지원하는 단일 프레임 간 변환( affin ity ) 개발.
• 시간적 일관성, 순환 일관성, 에너지 보존을 자기지도 신호로 활용한다.
• 다양한 비디오 주석 전파 벤치마크에서 공동 작업 학습이 더 좋거나 경쟁력 있는 성능을 발휘함을 보인다.

제안 방법

• 공유된 프레임 간 친화도 행렬 A를 모델링하는 지역- 및 픽셀-수준 변환을 나타내는 공동 작업 자기지도 네트워크를 도입한다.
• 희소성과 일대일 매핑을 촉진하기 위해 소프트맥스 정규화된 점곱 유사도를 이용한 학습된 특징 임베딩 f를 이용한 A를 계산한다.
• A를 사용하여 색상 표현을 변환하고 프레임 간 픽셀 위치를 추적하여 지역 로컬라이제이션과 정밀 매칭을 가능하게 한다.
• Region-level 로컬라이제이션은 기준 프레임의 패치를 대상 프레임에서 위치시키고 대상 프레임 내의 경계 상자를 추정한다.
• Fine-grained 매칭은 A의 부분 친화도와 색상 자동 인코더를 이용하여 대상 프레임에서 위치된 패치의 색상 정보를 재구성한다.
• 직교(순환 일관성) 및 집중 정규화를 적용하여 프레임 간의 일관적이고 로컬화된, 단위 이동 기대치를 강제한다.

실험 결과

연구 질문

• RQ1 단일 프레임 간 친화도 하나를 사용하여 region- 수준 및 픽셀-수준 시각적 대응을 자기지도 방식으로 공동 학습할 수 있는가?
• RQ2 프레임 간 친화도 공유가 비디오 프레임 전반의 지역 로컬라이제이션과 밀집 픽셀 매칭 모두의 강건성 및 정확도를 향상시키는가?
• RQ3 학습된 변환을 도메인 간 일반화에 가장 잘 규제하는 자기지도 신호(시간적 일관성, 사이클 일관성, 에너지 보존)는 무엇인가?
• RQ4 제안된 공동 작업 방식이 비디오 객체 분할, 키포인트 추적, 부품/의미론적 전파에서 자기지도 및 지도학습 기반 기준과 비교하여 어떤 성능을 보이는가?

주요 결과

• 공유 친화도 행렬을 가진 공동 작업 프레임워크가 여러 비디오 대응 작업에서 최첨단 자기지도 방법을 능가한다.
• 이 접근법은 주석으로부터의 감독 없이도 특정 전파 벤치마크에서 ImageNet에서 사전 학습된 ResNet-18을 이길 수 있다.
• 친화도를 통해 region localization과 세밀한 매칭이 서로 이익을 주어 로컬라이제이션 정확도를 높이고 매칭 검색 공간을 축소한다.
• 정규화—직교(사이클-일관성) 및 집중—은 로컬 구조 보존 및 견고한 매칭에 큰 기여를 한다.
• 제거 연구는 지역화와 매끄러운 정규화를 함께 학습하는 것이 DAVIS-2017, VIP, J-HMDB, OTB2015 데이터셋 전반에서 구성요소를 제거했을 때보다 더 나은 지표를 낳는다는 것을 보여준다.