[논문 리뷰] Learning Dense Correspondence via 3D-guided Cycle Consistency

Tinghui Zhou, Philipp Krähenbühl외 3명|arXiv (Cornell University)|2016. 04. 18.

Human Pose and Action Recognition참고 문헌 31인용 수 27

한 줄 요약

이 논문은 지도 학습이 없는 이미지 내에서 밀도 높은 인스턴스 간 대응 관계를 학습하기 위해 3D 유도 순환 일致성 프레임워크를 제안한다. 3D CAD 모델에서 생성한 합성 시각을 활용해 4순환의 대응 관계를 형성함으로써, 순환 일치성을 지도 신호로 사용해 CNN을 엔드 투 엔드로 훈련시키며, 테스트 시 3D 모델이 필요 없이도 최신 기술 수준의 성능을 달성한다. 이는 대응 관계 및 세분화 전이 작업에서 성과를 내며, 지도 학습이 불필요하다.

ABSTRACT

Discriminative deep learning approaches have shown impressive results for problems where human-labeled ground truth is plentiful, but what about tasks where labels are difficult or impossible to obtain? This paper tackles one such problem: establishing dense visual correspondence across different object instances. For this task, although we do not know what the ground-truth is, we know it should be consistent across instances of that category. We exploit this consistency as a supervisory signal to train a convolutional neural network to predict cross-instance correspondences between pairs of images depicting objects of the same category. For each pair of training images we find an appropriate 3D CAD model and render two synthetic views to link in with the pair, establishing a correspondence flow 4-cycle. We use ground-truth synthetic-to-synthetic correspondences, provided by the rendering engine, to train a ConvNet to predict synthetic-to-real, real-to-real and real-to-synthetic correspondences that are cycle-consistent with the ground-truth. At test time, no CAD models are required. We demonstrate that our end-to-end trained ConvNet supervised by cycle-consistency outperforms state-of-the-art pairwise matching methods in correspondence-related tasks.

연구 동기 및 목표

• 지상 진술 레이블이 없는 다양한 객체 인스턴스 간의 밀도 높은 대응 관계를 해결하기 위해.
• 동일한 3D 모델의 다양한 시점 간의 구조적 일관성을 학습 지도 신호로 활용하기 위해.
• 추론 시 3D 모델이 필요 없이 실제 이미지로 일반화 가능한 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 학습된 대응 관계를 활용해 세분화와 같은 도메인 간 레이블 전이(예: 3D 형상에서 실제 이미지로)를 가능하게 하기 위해.

제안 방법

• 각 실사 이미지 쌍에 대해, 3D CAD 모델을 선택하여 두 개의 합성 시각을 생성함으로써 4순환을 형성: 실사1 → 실사2 → 합성1 → 합성2 → 실사1.
• 렌더링 엔진을 통해 합성 간 대응 관계의 지상 진술을 제공하여 순환 일치 제약 조건의 지도 학습을 가능하게 한다.
• 예측된 실사 간 흐름과 합성 시각을 통과한 복합 흐름 간의 차이를 최소화하도록 네트워크를 훈련시켜 순환 일관성을 강제한다.
• 훈련 목표는 4순환을 따라 흐름의 복합이 원래 점으로 돌아오도록 보장하여 메타지도 신호의 한 형태로 작용한다.
• 네트워크는 실사 간, 실사-합성 간, 합성-실사 간 대응 관계를 동시에 예측하며, 순환 일관성이 핵심 손실로 작용한다.
• 테스트 시에는 실사 이미지만 사용되며, 3D 모델이나 합성 시각이 필요하지 않다.

실험 결과

연구 질문

• RQ1 지상 진술 레이블이 없이도 순환 일관성이 딥 네트워크의 밀도 높은 대응 관계 학습을 위한 메타지도 신호로 사용될 수 있는가?
• RQ2 3D CAD 모델에서 유도된 합성 대응 관계가 실사 이미지의 대응 관계 학습에 효과적으로 기여할 수 있는가?
• RQ3 3D 유도 순환 일관성으로 엔드 투 엔드 훈련을 수행할 경우, 전통적인 수작업 기반 방법인 SIFT 플로우보다 인스턴스 간 매칭에서 성능이 뛰어나게 되는가?
• RQ4 학습된 대응 관계 네트워크는 세분화 전이와 같은 후속 작업에 일반화 가능한가?
• RQ5 네트워크는 이미지 간 매칭 가능한 영역을 얼마나 잘 예측할 수 있으며, 이 경우 SIFT 플로우보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 방법은 PASCAL-Part 데이터셋에서 평균 매칭 가능성 예측 정확도 67.8%를 달성하여 SIFT 플로우의 57.1%를 크게 상회한다.
• 대응 관계 작업에서, 지상 진술 레이블이 필요 없이 최신 기술 수준의 쌍별 매칭 방법인 SIFT 플로우 및 DSP 매칭을 모두 능가한다.
• 네트워크는 3D 형상에서의 세분화 마스크를 실사 이미지로 성공적으로 전이하여, 세분화 전이 실험에서 SIFT 플로우보다 더 정확한 결과를 도출한다.
• 미세한 경계나 복잡한 객체 부분과 같은 도전적인 케이스에도 잘 일반화되며, 일부 경우에 매칭 가능한 영역의 정밀한 국소화에 어려움을 겪는 경우가 있다.
• 3D CAD 모델을 지도 학습의 다리로 활용함으로써, 외관 및 시점 변화가 큰 경우에도 실사 이미지의 대응 관계 학습이 효과적으로 가능해진다.
• 순환 일관성 손실은 자명한 해를 방지하고, 4순환 전반에서 예측된 흐름이 기하학적으로 일관되게 유지되도록 하여 정확도를 향상시킨다.