[논문 리뷰] Multiview Supervision By Registration

Yilun Zhang, Hyun Soo Park|arXiv (Cornell University)|2018. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 6

한 줄 요약

이 논문은 다중 시점 기하학과 시간 추적을 활용하여 최소한의 레이블 데이터(<4%)로 정확한 키포인트 검출기를 훈련시키는 새로운 준지도 학습 키포인트 검출 프레임워크를 제안한다. 서로 다른 시점 간의 에피포라인 제약, 광학 흐름 기반 시간적 보조 학습, 시점 간의 가시성 일관성 등을 통합함으로써, 세 가지 경로를 가진 미분 가능하고 종단 간(end-to-end) 네트워크를 통해 쥐, 원숭이, 개와 같은 비인간 종에서 검출 정확도를 크게 향상시킨다. 이는 사전 훈련 없이도 DeepLabCut 및 기존 최고 성능(SOTA) 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper presents a semi-supervised learning framework to train a keypoint detector using multiview image streams given the limited labeled data (typically $

연구 동기 및 목표

• 제한된 레이블 데이터(<4%)와 높은 자세 변형을 가진 비인간 동물에 대해 정확한 키포인트 검출기를 훈련시키는 데 도전하는 것.
• 3D 재구성 또는 사전 훈련 모델이 필요 없이 다중 시점 영상 스트림을 활용해 자기 지도 학습(self-supervision)을 제공하는 것.
• 자기 가림(self-occlusion)과 큰 자세 변형에 대한 강건성을 향상시키는 것.
• 기하학적 및 시간적 일관성을 시점과 프레임 간에 통합한 유연하고 종단 간 딥 러닝 프레임워크를 개발하는 것.

제안 방법

• 키포인트 검출, 가시성 예측, 시점 간 기하 일관성의 공동 최적화를 위한 다중 경로 신경망 아키텍처를 사용한다.
• 에피포라 기하학을 통해 서로 다른 시점 간의 보조 학습을 강제하여, 한 시점에서 검출된 키포인트가 다른 시점의 대응 점에서 유도된 에피포라 라인 위에 위치하도록 보장한다.
• 시간적 보조 학습은 광학 흐름을 사용하여 연속 프레임 간의 키포인트 예측을 정렬함으로써 시간에 따른 부드러운 운동을 강제한다.
• 가시성 보조 학습은 카메라 간의 공간적 근접성을 활용하여 가시성 맵을 시점 간으로 전파함으로써 가림 동안 잡음 있는 검출을 줄인다.
• 네 가지 미분 가능한 손실 함수를 결합한다: 레이블 손실(레이블 데이터에 대해), 시점 간 손실(에피포라 일관성), 추적 손실(광학 흐름 정렬), 가시성 손실(공간 일관성).
• 이 시스템은 네트워크 독립적이며, 확률 맵을 출력하는 모든 키포인트 검출 네트워크(예: DeepLabCut 또는 Hourglass)와 통합 가능하다.

실험 결과

연구 질문

• RQ1 3D 재구성 없이도 다중 시점 기하학을 활용해 효과적인 자기 지도 학습을 키포인트 검출에 제공할 수 있는가?
• RQ2 광학 흐름 기반 시간적 일관성이 운동과 가림 상황에서 키포인트 검출 성능을 어떻게 향상시키는가?
• RQ3 이웃 시점에서 가시성 맵을 예측하여 자기 가림 상황에서의 검출 강건성을 향상시킬 수 있는가?
• RQ4 시점 간, 시간적, 가시성 보조 학습을 병합하면 단일 신호만을 사용할 때보다 성능이 향상되는가?
• RQ5 이 프레임워크는 제한된 레이블 데이터와 높은 자세 변형을 가진 비인간 종에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 Human 데이터셋에서 95.1%의 PCKh를 달성했으며, Dog 데이터셋에서는 94.8%의 AUC를 기록하여, 시간적 보조 학습만을 사용할 때보다 AUC 기준 3.4% 향상되고, 시점 간 보조 학습보다는 16.4% 향상되었다.
• 가시성 보조 학습은 Human 데이터셋에서 시간적 보조 학습을 1.8% AUC 향상시켰고, Dog 데이터셋에서는 2.65% 향상시켰다.
• 데이터 증강은 Human 데이터셋에서 시점 간 보조 학습을 16.6% AUC 향상시켰고, Dog 데이터셋에서는 13.9% 향상시켰다.
• 높은 자세 변형을 보이는 원숭이 데이터셋에서, 10개의 레이블 프레임만으로도 DeepLabCut보다 15% 높은 성능을 기록하여 큰 외관 변화에 대한 뛰어난 내성 강도를 입증했다.
• 이 방법은 새로운 주제에 대해 잘 일반화된다: 다른 운동 시퀀스에서 훈련된 후에도 Dance 2(Panoptic Studio)와 Greeting(Human3.6M)에서 높은 성능 유지되었다.
• 제거 분석(ablation study)은 시점 간, 시간적, 가시성, 부트스트랩 보조 학습의 전체 조합이 가장 우수한 성능을 내며, 각 구성 요소가 정확도 향상에 기여하고 있음을 확인했다.