[논문 리뷰] Online Adaptation for Consistent Mesh Reconstruction in the Wild

Xueting Li, Sifei Liu외 5명|arXiv (Cornell University)|2020. 12. 06.

Advanced Vision and Imaging인용 수 19

한 줄 요약

이 논문은 3D 애너테이션, 2D 키포인트, 카메라 포즈 없이도 자연계 영상에서 변형 가능한 물체의 시간적으로 일관된 3D 메쉬 재구성을 위한 온라인 적응 프레임워크를 제안한다. 영상 프레임 간 UV 텍스처, 형태, 부분 대응의 자기지도 학습 기반 시간적 일관성을 활용하여, 테스트 시 적응 중 메쉬 예측을 안정화하고 정밀화함으로써, 자연계 영상에서 비정형 동물(새, 줄무늬말 등)의 견고한 재구성을 달성한다.

ABSTRACT

This paper presents an algorithm to reconstruct temporally consistent 3D meshes of deformable object instances from videos in the wild. Without requiring annotations of 3D mesh, 2D keypoints, or camera pose for each video frame, we pose video-based reconstruction as a self-supervised online adaptation problem applied to any incoming test video. We first learn a category-specific 3D reconstruction model from a collection of single-view images of the same category that jointly predicts the shape, texture, and camera pose of an image. Then, at inference time, we adapt the model to a test video over time using self-supervised regularization terms that exploit temporal consistency of an object instance to enforce that all reconstructed meshes share a common texture map, a base shape, as well as parts. We demonstrate that our algorithm recovers temporally consistent and reliable 3D structures from videos of non-rigid objects including those of animals captured in the wild -- an extremely challenging task rarely addressed before.

연구 동기 및 목표

• 3D 감독이 희박하거나 가용하지 않은 자연계 영상에서 비정형, 변형 가능한 물체의 시간적으로 일관된 3D 메쉬 재구성을 해결하는 데 목적이 있다.
• 제약 없는 실제 환경에서 촬영된 동물 및 기타 복잡한 비정형 물체의 견고한 3D 재구성을 가능하게 하는 데 목적이 있다.
• 오직 영상 데이터와 자기지도 학습 기반 시간적 일관성만을 사용하여 메쉬 품질을 향상시키는 테스트 시 적응 전략을 개발하는 데 목적이 있다.
• 대칭 형태를 가정하지 않기 위해 실제 비정형 변형을 위해 가능한 한 강성 유지(ARAP) 제약을 통합하는 데 목적이 있다.
• 단일 시점 이미지로 훈련된 카테고리별 모델을 새로운 영상 시퀀스에 온라인으로 적응시켜 다양한 물체 인스턴스로의 일반화를 가능하게 하는 데 목적이 있다.

제안 방법

• 약한 감독(전경 실루엣, 일부 모델에 대한 2D 키포인트, RGB 및 형태 감독을 위한 유연한 렌더링)을 사용하여 단일 시점 이미지에서 카테고리별 3D 재구성 모델을 훈련한다.
• 추론 시, 자기지도 학습 정규화 항을 포함한 테스트 시 훈련을 통해 모델을 테스트 영상에 온라인으로 적응시킨다.
• 시간적 일관성은 모든 프레임 간 공통의 텍스처 매핑과 일관된 부분 대응을 보장하는 UV 텍스처 공간에서의 불변성 제약 조건을 통해 강제한다.
• 기본 형태는 적응 과정 중 메쉬 기하학의 전체 안정성을 확보하기 위해 프레임 간 불변성을 확보한다.
• 테스트 시 적응 중에 가능한 한 강성 유지(ARAP) 제약을 적용하여 대칭성을 가정하지 않고도 현실적인 비정형 변형을 유지한다.
• 슬라이딩 윈도우 방식을 사용하여 영상 프레임을 순차적으로 처리하고, 짧은 시간 클립 동안 일관성 손실를 적용하여 안정성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 UV 텍스처, 형태, 부분 대응에서 자기지도 학습 기반 시간적 일관성이 비구조적 영상에서 3D 메쉬 재구성에 기여하는가?
• RQ2 3D 애너테이션이나 진짜 카메라 포즈 없이도 온라인 테스트 시 적응이 3D 메쉬 예측을 안정화하고 정밀화할 수 있는가?
• RQ3 이 방법은 자연계에서 촬영된 비정형, 비대칭 동물(새, 줄무늬말 등)으로 일반화 가능한가?
• RQ4 ARAP를 통해 대칭 형태 가정을 제거하면 복잡한 변형에 대한 재구성 품질이 향상되는가?
• RQ5 단일 시점 이미지로 훈련된 모델이 오직 영상 수준의 자기지도 학습만을 사용하여 새로운 영상 인스턴스에 대해 효과적으로 적응 가능한가?

주요 결과

• 이 방법은 이전에 거의 다루어지지 않은 비구조적 실제 영상에서 비정형 동물(새, 줄무늬말 등)에 대해 시간적으로 일관된 3D 메쉬 재구성을 달성한다.
• UV 텍스처와 부분 대응에서 자기지도 학습 기반 시간적 일관성이 메쉬 예측을 크게 안정화시키고 시간적 진동을 감소시킨다.
• ARAP 제약은 동물의 머리 기울임, 사지 움직임 등 복잡한 비대칭 변형을 정확하게 재구성하는 데 기여한다.
• 3D 영상 데이터 없이 단일 시점 이미지로만 훈련된 모델이 새로운 동일 카테고리의 물체 인스턴스로도 잘 일반화된다.
• 큰 운동, 가림, 조명 변화 상황에서는 주로 자기지도 UVC 모델의 부분 전파 오류로 인해 실패 케이스가 발생한다.
• 특히 시간적 일관성이 중요한 영상 환경에서 단일 시점 재구성에 의존하는 기준 방법들보다 이 방법이 우수한 성능을 보인다.