[논문 리뷰] The Whole Is Greater Than the Sum of Its Nonrigid Parts

Oshri Halimi, Ido Imanuel외 5명|arXiv (Cornell University)|2020. 01. 27.

3D Shape Modeling and Analysis참고 문헌 61인용 수 11

한 줄 요약

이 논문은 완전한 형태를 사전 지식으로 활용하여, 다른 자세에 있는 단일 부분 스캔으로부터 전체적이고 세밀한 3D 모델을 복원하는 깊이 신경망 기반의 사이라미스 오토에인코드어를 제안한다. 이 방법은 비정적 형태 복원과 부분 대응을 통합적으로 해결하며, 합성 및 실세계 데이터에서 모두 최신 기술을 압도적으로 초월하는 성능을 달성한다. 노이즈, 다운샘플링, 다양한 투사 각도에 대해 뛰어난 강인성을 보인다.

ABSTRACT

According to Aristotle, a philosopher in Ancient Greece, "the whole is greater than the sum of its parts". This observation was adopted to explain human perception by the Gestalt psychology school of thought in the twentieth century. Here, we claim that observing part of an object which was previously acquired as a whole, one could deal with both partial matching and shape completion in a holistic manner. More specifically, given the geometry of a full, articulated object in a given pose, as well as a partial scan of the same object in a different pose, we address the problem of matching the part to the whole while simultaneously reconstructing the new pose from its partial observation. Our approach is data-driven, and takes the form of a Siamese autoencoder without the requirement of a consistent vertex labeling at inference time; as such, it can be used on unorganized point clouds as well as on triangle meshes. We demonstrate the practical effectiveness of our model in the applications of single-view deformable shape completion and dense shape correspondence, both on synthetic and real-world geometric data, where we outperform prior work on these tasks by a large margin.

연구 동기 및 목표

• 완전한 형태를 기하학적 사전 지식으로 활용하여 단일 시야 비정적 형태 복원 문제를 해결한다.
• 일관된 정점 레이블링 없이도 전체적이고 세밀한 3D 형태를 부분 스캔에서 정확하게 복원한다.
• 극한의 부분성, 노이즈, 다양한 시야 각도에 대해 강인한 성능을 달성한다.
• 합성 데이터(FAUST) 및 실세계 데이터(AMASS)에서 최신 기술 성능을 입증한다.

제안 방법

• 완전한 형태를 다른 자세에 있는 부분 스캔에 매칭시키는 변형장을 예측하도록 사이라미스 인코더-디코더 아키텍처를 훈련한다.
• 비정적 변환으로 연결된 풀 및 부분 형태 쌍을 사용하여 자기지도 학습 방식으로 네트워크를 훈련한다.
• 완전한 형태의 기하학적 특징(정체성에 기반)과 부분 형태의 기하학적 특징(자세에 기반)을 바탕으로 변형장을 예측한다.
• 정렬되지 않은 포인트 클라우드 및 삼각형 메쉬를 대상으로 하며, 추론 시 일관된 정점 대응이 필요하지 않다.
• 부분 형태와 재구성된 완전한 형태 간의 최근접 이웃 검색을 통해 밀도 높은 대응 관계를 복원한다.
• 아자이멀 투사 각도에 대해 불변이며, 정점 노이즈와 다운샘플링에 강인하다.

실험 결과

연구 질문

• RQ1 완전한 형태를 사전 지식으로 활용하여 단일 부분 스캔으로부터 완전하고 세밀한 3D 형태를 재구성할 수 있는가?
• RQ2 극한의 부분성 하에서 비정적 형태 복원과 부분 대응을 동시에 해결할 수 있는 통합 프레임워크의 성능은 어떠한가?
• RQ3 실세계 스캔에서 노이즈, 정점 다운샘플링, 다양한 투사 각도에 대해 얼마나 강인한가?
• RQ4 일관된 정점 레이블링 없이도 다양한 주체와 자세에 일반화 가능한가?
• RQ5 완전한 형태의 내재 기하학적 특징을 활용하면 부분 데이터에만 의존하는 방법보다 재구성 정밀도가著로 향상되는가?

주요 결과

• 이 방법은 단일 시야 비정적 형태 복원에서 최신 기술을 초월하며, FAUST 및 AMASS 데이터셋 모두에서 뛰어난 성능을 달성한다.
• 4cm의 가우시안 백색 노이즈가 첨가된 상황에서도 높은 재구성 정확도를 유지하며, 성능 저하가 미미하다.
• 정점 다운샘플링에 대한 강인성이 입증되었으며, 심한 정점 감소 조건에서도 정확한 재구성이 유지된다.
• 다양한 투사 각도에 따른 오차 분포가 거의 균일하여, 강한 아자이멀 불변성과 일관된 성능을 보인다.
• 부분 입력과 재구성된 형태 간의 최근접 이웃 매칭을 통해 밀도 높은 비정적 대응 관계가 성공적으로 복원되었으며, 정성적 및 정량적 검증이 이루어졌다.
• 모델은 추론당 평균 1초 이내에 형태를 완성하여 실시간 응용에 매우 효율적이다.