[논문 리뷰] Unsupervised Domain Adaptation for 3D Keypoint Prediction from a Single Depth Scan.

Xingyi Zhou, Arjun Karpur외 3명|arXiv (Cornell University)|2017. 12. 15.

Human Pose and Action Recognition참고 문헌 43인용 수 10

한 줄 요약

이 논문은 동일한 물체의 다중 시점에서의 시각 일致성과 기하학적 정렬 손실을 도입하여 단일 깊이 스캔에서 3D 키포인트 예측을 위한 비지도 도메인 적응 방법을 제안한다. 통합 손실 함수의 교차 최적화를 통해 실세계 데이터셋에서 최신 기술 대비 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we introduce a novel unsupervised domain adaptation technique for the task of 3D keypoint prediction from a single depth scan/image. Our key idea is to utilize the fact that predictions from different views of the same or similar objects should be consistent with each other. Such view consistency provides effective regularization for keypoint prediction on unlabeled instances. In addition, we introduce a geometric alignment term to regularize predictions in the target domain. The resulting loss function can be effectively optimized via alternating minimization. We demonstrate the effectiveness of our approach on real datasets and present experimental results showing that our approach is superior to state-of-the-art general-purpose domain adaptation techniques.

연구 동기 및 목표

• 합성 데이터에서 학습하고 진짜 깊이 스캔에서 테스트할 때 발생하는 도메인 이탈 문제를 해결하기 위해.
• 목표 도메인의 레이블이 없는 실세계 데이터를 활용하여 다중 시점 일치성을 통해 암시적 지도 학습(self-supervision)을 도입하기 위해.
• 목표 도메인에서의 기하학적 정규화를 도입하여 실제 환경에 대한 일반화 능력을 향상시키기 위해.
• 교차 최소화를 통해 효과적인 도메인 적응을 가능하게 하는 손실 함수를 개발하기 위해.
• 목표 도메인에서의 지도 없이도 다중 시점 일치성과 기하학적 정렬이 함께 예측의 강인성을 향상시킬 수 있는지 입증하기 위해.

제안 방법

• 동일한 3D 물체의 다중 시점 예측을 활용하여 일관성을 강제함으로써, 일관된 예측을 암시적 지도 학습의 형태로 활용한다.
• 예측된 키포인트 위치가 물체의 잠재적인 3D 기하학과 일치하도록 정규화하는 기하학적 정렬 항목을 도입한다.
• 시각 일치성과 기하학적 정렬을 통합된 손실 함수로 조합하고, 교차 최소화를 통해 최적화한다.
• 동일한 물체의 서로 다른 각도에서의 예측이 공간적으로 일관성이 있어야 한다는 사실을 활용한다.
• 예측의 일관성과 기하학적 타당성을 최소화함으로써, 레이블이 없는 목표 도메인 데이터를 활용해 예측을 개선한다.
• 소스(합성) 도메인과 타겟(실제) 도메인 양쪽에서 병합된 손실을 공동으로 최적화하는 딥 네트워크를 활용해 키포인트 회귀를 수행한다.

실험 결과

연구 질문

• RQ1 동일한 물체의 다중 시점에서의 시각 일치성이 3D 키포인트 예측에서 비지도 도메인 적응에 효과적인 암시적 지도 학습으로 기능할 수 있는가?
• RQ2 기하학적 정렬을 통합함으로써 목표 도메인에서의 키포인트 예측의 강인성과 정확도는 어떻게 향상되는가?
• RQ3 기본적인 도메인 적응 기법 대비 제안된 방법이 도메인 이탈을 얼마나 줄이는가?
• RQ4 다중 시점 일치성과 기하학적 정규화의 조합이 실세계 깊이 데이터에서 기존 최신 기술 대비 슈퍼리어한 성능을 내는가?

주요 결과

• 제안된 방법은 최신 기술 대비 실세계 데이터셋에서 뛰어난 성능을 달성한다.
• 목표 도메인의 레이블이 없을 경우에도 다중 시점 일치성이 예측의 일관성과 일반화 능력을 크게 향상시킨다.
• 기하학적 정렬 항목은 특히 도전적인 실세계 환경에서 예측된 키포인트 위치의 타당성을 향상시킨다.
• 교차 최소화 전략은 병합된 손실 함수를 효과적으로 최적화하여 안정적인 수렴과 향상된 성능을 이끈다.
• 이 방법은 레이블이 없는 목표 도메인 인스턴스가 없이도 합성 소스 데이터에서 실세계 타겟 데이터로의 강력한 제로샷 일반화를 보여준다.
• 실험 결과는 다중 시점 일치성과 기하학적 정규화의 조합이 더 정확하고 강인한 3D 키포인트 예측을 이끌어낸다는 것을 확인한다.