[논문 리뷰] CyLKs: Unsupervised Cycle Lucas-Kanade Network for Landmark Tracking

Xinshuo Weng, Wentao Han|arXiv (Cornell University)|2018. 11. 28.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 5

한 줄 요약

CyLKs는 루카스-카나데(Lucas-Kanade, LK) 추적에 유리한 특징 표현을 학습할 수 있도록 컨volutional neural network(CNN)을 훈련하는 비지도 학습 기반의 딥러닝 프레임워크를 제안한다. 사이클 일致성 손실을 사용하여 인간의 레이블 없이 이방향 추적을 가능하게 한다. 이 방법은 THUMOS 및 300-VW 데이터셋에서 랜드마크 추적 정확도와 강인성을 크게 향상시키며, 표준 LK 대비 재투영 오차를 최대 90%까지 감소시킨다.

ABSTRACT

Across a majority of modern learning-based tracking systems, expensive annotations are needed to achieve state-of-the-art performance. In contrast, the Lucas-Kanade (LK) algorithm works well without any annotation. However, LK has a strong assumption of photometric (brightness) consistency on image intensity and is easy to drift because of large motion, occlusion, and aperture problem. To relax the assumption and alleviate the drift problem, we propose CyLKs, a data-driven way of training Lucas-Kanade in an unsupervised manner. CyLKs learns a feature transformation through CNNs, transforming the input images to a feature space which is especially favorable to LK tracking. During training, we perform differentiable Lucas-Kanade forward and backward on the convolutional feature maps, and then minimize the re-projection error. During testing, we perform the LK tracking on the learned features. We apply our model to the task of landmark tracking and perform experiments on datasets of THUMOS and 300VW.

연구 동기 및 목표

• 딥러닝 기반 추적에서 비용이 많이 드는 인간의 레이블이 필요 없는 랜드마크 추적 방법을 개발하는 것.
• 감독 없이도 조명 변화, 가림, 큰 운동에 대해 루카스-카나데 알고리즘의 강인성을 향상시키는 것.
• LK 추적 성능을 향상시키기 위해 CNN을 통해 특징 공간을 학습하고, 미분 가능한 정방향 및 역방향 추적을 수행하는 것.
• 대규모 레이블이 없는 영상 데이터를 기반으로 훈련하여 다양한 영상 시퀀스 간 일반화를 가능하게 하는 것.
• 비지도 사전 훈련이 랜드마크 추적에서 감독 학습 방법과 경쟁 가능한 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 원본 이미지와 템플릿 이미지에서 특징을 추출하기 위해 CNN을 훈련하여 LK 추적에 유리한 특징 공간으로 변환하는 것.
• 역합성 최적화를 사용하여 학습된 특징 맵에서 미분 가능한 정방향 및 역방향 LK 추적을 수행하는 것.
• 초기 랜드마크 위치와 역방향 추적된 위치를 비교하여 사이클 일치성 손실을 최소화함으로써 추적 루프 전반에 걸친 일관성 강화하는 것.
• 정방향 추적에서 추적된 패치가 원본 템플릿 패치와 가까워지도록 패치 손실을 적용하는 것.
• 사이클 손실과 패치 손실을 조합하여 CNN의 파라미터를 종단 간(end-to-end), 자기지도 학습 방식으로 공동 최적화하는 것.
• 대규모 레이블이 없는 영상 데이터에서 랜덤 컷, 수평 반전, 회전 등의 데이터 증강 기법을 적용하여 네트워크를 훈련하는 것.

실험 결과

연구 질문

• RQ1 비지도 딥러닝 프레임워크가 인간 레이블이 없는 루카스-카나데 추적의 강인성을 향상시킬 수 있는가?
• RQ2 CNN을 통한 특징 변환을 통해 기존 이미지에 대한 표준 LK 대비 재투영 오차가 유의미하게 감소하는가?
• RQ3 사이클 일치성 손실이 정방향 및 역방향 추적을 정확하게 가능하게 하기 위해 특징 공간을 효과적으로 정규화하는가?
• RQ4 제안된 방법이 다양한 조명, 운동, 가림 조건을 가진 다양한 영상 시퀀스에 얼마나 잘 일반화되는가?
• RQ5 학습된 특징은 재학습 없이도 기존의 LK 기반 추적기 성능을 향상시키는 데 전이 가능한가?

주요 결과

• THUMOS 데이터셋에서 CyLKs는 재투영 오차를 표준 LK의 0.231에서 0.031로 감소시켜 상대적 향상률 86.6%를 달성했다.
• 300-VW 데이터셋의 seq-3 시퀀스에서 CyLKs는 정방향 오차를 표준 LK의 4.816에서 3.525로 57.5% 감소시켰다.
• 300-VW의 seq-18 시퀀스에서 CyLKs는 성공률을 91.2%에서 93.9%로 향상시켜 추적 실패에 대한 강인성을 높였다.
• 사이클 손실은 역방향 추적 오차를 크게 감소시켰으며, seq-18에서 재투영 오차를 0.567에서 0.102로 57.5% 감소시켜 강력한 특징 일관성을 보였다.
• THUMOS의 Basketball-g06-c02 시퀀스에서 CyLKs는 99.5%의 성공률을 기록하여 표준 LK의 97.1%보다 2.4% 높였다.
• 이 방법은 다양한 시퀀스에서 강력한 일반화 능력을 보였으며, 가림이나 조명 변화와 같은 도전적인 조건에서도 낮은 오차와 높은 성공률을 유지했다.