[논문 리뷰] Self-Supervised Learning via Conditional Motion Propagation

Xiaohang Zhan, Xingang Pan외 3명|arXiv (Cornell University)|2019. 03. 27.

Human Pose and Action Recognition참고 문헌 36인용 수 6

한 줄 요약

이 논문은 조건부 운동 전파(Conditional Motion Propagation, CMP)를 제안한다. 이는 희소 운동 가이던스를 조건으로 삼아 단일 이미지에서 밀도 높은 광학 흐름을 예측함으로써 시각적 표현을 학습하는 자기지도 학습 프레임워크이다. 운동 예측을 조건부 전파 작업으로 재정의함으로써 CMP는 명시적인 운동 모델링이나 물체의 강성에 대한 강한 가정 없이도 운동학적으로 타당한 구조적 특징을 학습하며, 세분화, 인스턴스 세분화, 인간 해석 등의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Intelligent agent naturally learns from motion. Various self-supervised algorithms have leveraged motion cues to learn effective visual representations. The hurdle here is that motion is both ambiguous and complex, rendering previous works either suffer from degraded learning efficacy, or resort to strong assumptions on object motions. In this work, we design a new learning-from-motion paradigm to bridge these gaps. Instead of explicitly modeling the motion probabilities, we design the pretext task as a conditional motion propagation problem. Given an input image and several sparse flow guidance vectors on it, our framework seeks to recover the full-image motion. Compared to other alternatives, our framework has several appealing properties: (1) Using sparse flow guidance during training resolves the inherent motion ambiguity, and thus easing feature learning. (2) Solving the pretext task of conditional motion propagation encourages the emergence of kinematically-sound representations that poss greater expressive power. Extensive experiments demonstrate that our framework learns structural and coherent features; and achieves state-of-the-art self-supervision performance on several downstream tasks including semantic segmentation, instance segmentation, and human parsing. Furthermore, our framework is successfully extended to several useful applications such as semi-automatic pixel-level annotation. Project page: "http://mmlab.ie.cuhk.edu.hk/projects/CMP/".

연구 동기 및 목표

• 자기지도 학습에서의 운동에 내재된 모호성과 복잡성을 해결하기 위해.
• 이전 방법들이 물체 운동에 대해 강한 가정(예: 각 물체당 균일한 운동)을 필요로 하는 한계를 극복하기 위해.
• 운동 신호를 활용하여 레이블이 없는 데이터에서 구조적이고 일관되며 운동학적으로 타당한 시각적 특징을 학습하기 위해.
• 다양한 물체 유형(예: 관절이 있는 물체 및 변형 가능한 물체 포함)에 일반화 가능한 프레임워크를 개발하기 위해.
• 수동 애너테이션 없이도 가이드된 비디오 생성 및 반자동 픽셀 수준의 애너테이션과 같은 실용적 응용을 가능하게 하기 위해.

제안 방법

• 프레임워크는 세 가지 구성 요소로 이루어져 있다: 이미지 인코더, 희소 운동 인코더, 밀도 높은 운동 디코더.
• 학습 중에, '워셔드' 전략을 사용하여 진짜 광학 흐름에서 희소 운동 가이던스 벡터를 추출하여 모호성을 줄인다.
• 모델은 이러한 희소 가이던스 벡터를 조건으로 삼아 단일 이미지에서 전체 광학 흐름을 예측하도록 훈련된다.
• 조건부 예측 작업은 이미지 인코더가 정확한 운동 전파를 지원할 수 있도록 운동학적으로 일관된 표현을 학습하도록 강제한다.
• 사전 훈련 중에는 상용 광학 흐름 추정기를 활용해 감독을 받지만, 테스트 시에는 이를 필요로 하지 않는다.
• 추론 시에는 임의의 가이던스 입력에 일반화되어, 인터랙티브 세분화 및 비디오 생성과 같은 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적인 운동 확률 모델링 없이도 자기지도 학습 프레임워크가 운동 신호를 효과적으로 활용할 수 있는가?
• RQ2 희소 가이던스를 활용해 시각적 표현 학습에서 발생하는 운동의 모호성을 어떻게 해결할 수 있는가?
• RQ3 강성 또는 균일한 물체 운동을 가정하지 않고도 레이블이 없는 데이터에서 운동학적으로 타당한 운동 패턴을 학습할 수 있는가?
• RQ4 조건부 운동 전파가 세분화와 같은 후행 비전 작업에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ5 학습된 표현을 가이드된 비디오 생성 및 인터랙티브 애너테이션과 같은 실용적 응용으로 확장할 수 있는가?

주요 결과

• CMP는 자기지도 사전 훈련 하에 PASCAL VOC 2012 세분화 벤치마크에서 최신 기술 수준 성능를 달성한다.
• ResNet-50을 백본으로 사용할 때, COCO 인스턴스 세분화 및 LIP 인간 해석 벤치마크에서 SOTA 성능를 달성한다.
• CMP는 카트본, 후视 거울, 로봇 등 예상치 못하고 흔하지 않은 물체 유형에서도 반자동 애너테이션에서 잘 일반화된다.
• 인터랙티브 애너테이션에서 CMP는 감독 기반 Polygon RNN++ 방법보다 뛰어나며, Polygon RNN++이 25건에서 실패한 테스트 세트에서 0/170건의 실패를 기록한다.
• CMP는 분리된 영역이나 다중 연결 영역과 같은 어려운 물체 구조를 처리할 수 있으며, 이는 Polygon RNN++이 처리할 수 없는 영역이다.
• 이 방법은 Polygon RNN++보다 빠르게 동작한다(1개 인스턴스당 10.2초 대비 17.6초)이며, 카테고리별 전용 애너테이션 없이도 비지도 학습 방식으로 작동한다.