[논문 리뷰] SHARP 2020: The 1st Shape Recovery from Partial Textured 3D Scans Challenge Results

Alexandre Saint, Anis Kacem외 8명|arXiv (Cornell University)|2020. 10. 26.

3D Shape Modeling and Analysis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 부분적이고 불완전한 3D 스캔에서 3D 형상과 텍스처 복원을 위한 첫 번째 벤치마크인 SHARP 2020을 제시한다. 3DBodyTex.v2(인간 스캔용)과 3DObjectTex(일반 물체용)라는 두 가지 새로운 데이터셋과 함께, 형상, 텍스처, 완성도를 종합적으로 측정하는 맞춤형 평가 프레임워크를 도입한다. 최고 성능을 기록한 방법인 RVH-IF는 인간 스캔에서 83%의 점수를, 물체 스캔에서 75%의 점수를 기록하여 이 과제의 엄격함과 암묵적 특징 네트워크가 텍스처 인식 3D 완성에 얼마나 유용한지 보여준다.

ABSTRACT

The SHApe Recovery from Partial textured 3D scans challenge, SHARP 2020, is the first edition of a challenge fostering and benchmarking methods for recovering complete textured 3D scans from raw incomplete data. SHARP 2020 is organised as a workshop in conjunction with ECCV 2020. There are two complementary challenges, the first one on 3D human scans, and the second one on generic objects. Challenge 1 is further split into two tracks, focusing, first, on large body and clothing regions, and, second, on fine body details. A novel evaluation metric is proposed to quantify jointly the shape reconstruction, the texture reconstruction and the amount of completed data. Additionally, two unique datasets of 3D scans are proposed, to provide raw ground-truth data for the benchmarks. The datasets are released to the scientific community. Moreover, an accompanying custom library of software routines is also released to the scientific community. It allows for processing 3D scans, generating partial data and performing the evaluation. Results of the competition, analysed in comparison to baselines, show the validity of the proposed evaluation metrics, and highlight the challenging aspects of the task and of the datasets. Details on the SHARP 2020 challenge can be found at https://cvi2.uni.lu/sharp2020/.

연구 동기 및 목표

• 부분적인 3D 스캔에서 3D 형상과 텍스처 복원을 위한 표준화된 벤치마크를 확립하기 위해.
• 부분적인 3D 스캔 복원에 텍스처를 포함한 종합적인 데이터셋과 평가 프로토콜의 부족을 보완하기 위해.
• 정답 데이터, 합성된 부분 스캔, 재사용 가능한 평가 라이브러리를 제공하여 3D 복원 분야의 연구를 촉진하기 위해.
• 형상, 텍스처, 완성도의 통합 성능을 새로운 통합 평가 지표를 통해 정량화하기 위해.
• 특히 차폐 및 비균일한 재질을 가진 부분 데이터에서 복잡한 형상과 텍스처를 복원하는 데 직면한 과제를 부각시키기 위해.

제안 방법

• 이 챌린지는 3,000개의 고해상도 인간 스캔으로 구성된 3DBodyTex.v2(3,000개)와 1,200개의 일반 물체 스캔으로 구성된 3DObjectTex(1,200개)라는 두 가지 고유한 데이터셋을 사용한다. 두 데이터셋 모두 임의의 UV 매핑을 가진 텍스처가 부여된 삼각형 메esh로 표현된다.
• 부분 스캔은 전체 스캔에서 무작위로 영역을 제거하여 합성적으로 생성되며, 평가를 위해 진짜 값을 유지한다.
• 형상 복원, 텍스처 복원, 완성도를 하나의 점수로 통합하는 새로운 평가 지표를 제안한다.
• 3D 스캔 처리, 부분 데이터 생성, 제안된 지표를 사용한 결과 평가를 가능하게 하는 맞춤형 소프트웨어 라이브러리가 공개된다.
• 평가 프레임워크는 인간 스캔과 물체 스캔 챌린지를 모두 지원하며, 챌린지 1에서는 신체 부위와 세부 정보에 대해 별도의 트랙을 운영한다.
• 최고 성능을 기록한 방법인 RVH-IF는 암묵적 특징 네트워크를 활용하여 3D 데이터에서 텍스처 복원을 수행하며, 학습된 표현을 활용해 누락된 기하학적 구조와 외관을 예측한다.

실험 결과

연구 질문

• RQ1 최신 기법들은 부분적이고 불완전한 3D 스캔에서 완전한 3D 형상과 텍스처를 얼마나 잘 복원할 수 있는가?
• RQ2 형상 전용 방법과 비교해 복원 품질과 현실감을 향상시키기 위해 텍스처 정보를 포함시키는 것이 어느 정도 기여하는가?
• RQ3 의복, 자세, 물체 복잡성의 변화가 3D 형상 및 텍스처 복원의 어려움에 어떤 영향을 미치는가?
• RQ4 통합 평가 지표가 형상 정확도, 텍스처 충실도, 완성도 간의 상호 상충 관계를 효과적으로 포괄할 수 있는가?
• RQ5 세부 정보, 볼록하지 않은 형상, 반사성 재질과 같은 가장 도전적인 요소들은 성능에 어떤 영향을 미치며, 그 이유는 무엇인가?

주요 결과

• RVH-IF 방법은 챌린지 1, 트랙 2(세부 신체 부위)에서 83%의 최고 점수를 기록했으며, 베이스라인(41.1%)과 SnT-3DB(60.7%)를 크게 앞서며 뚜렷한 성능 우위를 보였다.
• 챌린지 2(일반 물체)에서는 RVH-IF-2가 75%의 점수를 기록했으며, 베이스라인보다 30个百分点 이상 높아 다양한 물체 카테고리에서의 강력한 일반화 능력을 보였다.
• 일반적으로 텍스처 복원은 형상 복원보다 더 쉬웠으며, 특히 무늬가 균일한 의복에서는 더욱 두드러졌다. 반면 구멍, 주름, 날카운 가장자리가 있는 복잡한 형상은 복원하기가 더 어려웠다.
• 챌린지 2에서는 형상 점수와 텍스처 점수 간 상관관계가 챌린지 1보다 낮아, 일반 물체에서는 형상과 텍스처 복원이 서로 덜 관련되어 있음을 시사했다.
• 결과적으로 매끄럽고 닫힌 표면 메쉬는 비볼록하거나 비정규적인 형상보다 더 정확하게 복원되었으며, 기하학적 복잡성이 핵심 과제임을 입증했다.
• 평가 지표는 성능 차이를 효과적으로 포착했고, 벤치마크가 다양한 방법을 구분할 수 있음을 검증하여 향후 챌린지에 적합한 것으로 확인되었다.