[논문 리뷰] Learning Landmarks from Unaligned Data using Image Translation

Tomáš Jakab, Ankush Gupta외 2명|arXiv (Cornell University)|2019. 07. 03.

Human Pose and Action Recognition참고 문헌 67인용 수 10

한 줄 요약

이 논문은 쌍이 맞지 않는 영상 프레임과 희소한 애너테이션에서 비지도 학습 방법을 제안하며, 랜드마크 검출을 이미지에서 뼈대로의 변환 작업으로 설정함으로써 인간 및 얼굴 랜드마크 검출기 학습을 가능하게 한다. 기존의 다양한 뼈대 렌더러와 개조된 CycleGAN을 사용하여 외관 조건이 부여된 복원 기능을 구현함으로써, 자세나 외관 누출 없이 도전적인 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

We introduce a method for learning landmark detectors from unlabelled video frames and unpaired labels. This allows us to learn a detector from a large collection of raw videos given only a few example annotations harvested from existing data or motion capture. We achieve this by formulating the landmark detection task as one of image translation, learning to map an image of the object to an image of its landmarks, represented as a skeleton. The advantage is that this translation problem can then be tackled by CycleGAN. However, we show that a naive application of CycleGAN confounds appearance and pose information, with suboptimal keypoint detection performance. We solve this problem by introducing an analytical and differentiable renderer for the skeleton image so that no appearance information can be leaked in the skeleton. Then, since cycle consistency requires to reconstruct the input image from the skeleton, we supply the appearance information thus removed by conditioning the generator with a second image of the same object (e.g. another frame from a video). Furthermore, while CycleGAN uses two cycle consistency constraints, we show that the second one is detrimental in this application and we discard it, significantly simplifying the model. We show that these modifications improve the quality of the learned detector leading to state-of-the-art unsupervised landmark detection performance in a number of challenging human pose and facial landmark detection benchmarks.

연구 동기 및 목표

• 쌍이 맞지 않는 영상 프레임과 희소한 애너테이션에서 정렬된 학습 데이터가 필요 없이 랜드마크 검출을 가능하게 한다.
• 표준 CycleGAN 기반의 이미지 변환에서 외관과 자세가 혼합되는 문제를 해결한다.
• 분석적이고 미분 가능한 렌더러를 통해 뼈대 표현에서 외관 누출을 제거한다.
• 이 작업에서 불필요한 사이클 일致성 제약 조건을 제거함으로써 모델을 단순화한다.
• 인간 자세 및 얼굴 랜드마크 벤치마크에서 비지도 학습 기반 랜드마크 검출 성능을 최고 수준으로 달성한다.

제안 방법

• 입력 이미지를 뼈대 표현으로 매핑하는 랜드마크 검출을 이미지에서 뼈대로의 변환 작업으로 설정한다.
• 외관 정보 없이 뼈대 이미지를 생성하는 분석적이고 미분 가능한 렌더러를 도입하여 누출을 방지한다.
• 동일한 객체의 다른 이미지(예: 다른 영상 프레임)를 조건으로 하여 복원 과정에서 외관을 유지한다.
• 이 설정에서는 해로운 영향을 미치는 두 번째 사이클 일치 손실을 제거함으로써 모델 아키텍처를 단순화한다.
• 입력 이미지를 뼈대로부터 복원하는 것을 강제하고, 조건부 입력을 통해 외관을 유지하는 방식으로 수정된 CycleGAN 프레임워크를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 쌍이 맞지 않는 영상 프레임과 희소한 애너테이션을 사용하여 이미지 변환 기반으로 랜드마크 검출을 효과적으로 학습시킬 수 있는가?
• RQ2 외관과 자세 정보를 변환 과정에서 어떻게 분리하여 성능 저하를 방지할 수 있는가?
• RQ3 이 특정 작업에서 두 번째 사이클 일치 제약 조건은 어떤 역할을 하는가? 그리고 안전하게 제거할 수 있는가?
• RQ4 미분 가능한 뼈대 렌더러가 뼈대 표현에 외관 누출을 제거할 수 있는가?
• RQ5 제안된 방법이 벤치마크 데이터셋에서 비지도 학습 기반 랜드마크 검출 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 다양한 벤치마크에서 비지도 학습 기반 인간 자세 및 얼굴 랜드마크 검출에서 최고 성능을 달성한다.
• 미분 가능한 뼈대 렌더러의 사용이 뼈대 표현에 외관 정보가 유입되는 것을 성공적으로 방지한다.
• 두 번째 사이클 일치 제약 조건을 제거함으로써 모델이 크게 단순화되고 성능이 향상된다.
• 생성자에 두 번째 이미지를 조건으로 하여 복원 과정에서 외관을 유지함으로써 검출 정확도가 향상된다.
• 희소한 예시 애너테이션만으로도 대규모 쌍이 맞지 않는 영상 데이터에서 효과적으로 학습이 가능해져, 비용이 많이 드는 쌍화된 데이터에 대한 의존도를 낮춘다.