[논문 리뷰] ECON: Explicit Clothed humans Optimized via Normal integration

Yuliang Xiu, Jinlong Yang외 3명|arXiv (Cornell University)|2022. 12. 14.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

ECON은 단일 RGB 이미지에서 세밀한 2D 법선 맵과 명시적 SMPL-X 신체 정규화를 조합하여 자유형상의 고해상도 옷 입은 3D 인간을 재구성하는 새로운 방법을 제안한다. 먼저 앞면/뒷면 법선 맵을 예측하고, 법선 통합(d-BiNI)을 통해 불완전한 2.5D 표면을 재구성한 후, 스크리닝된 포아송 솔버를 사용해 누락된 기하 구조를 보간함으로써 CAPE 및 RenderPeople 데이터셋에서 실사성과 세부 사항에서 최신 기술 수준을 달성한다.

ABSTRACT

The combination of deep learning, artist-curated scans, and Implicit Functions (IF), is enabling the creation of detailed, clothed, 3D humans from images. However, existing methods are far from perfect. IF-based methods recover free-form geometry, but produce disembodied limbs or degenerate shapes for novel poses or clothes. To increase robustness for these cases, existing work uses an explicit parametric body model to constrain surface reconstruction, but this limits the recovery of free-form surfaces such as loose clothing that deviates from the body. What we want is a method that combines the best properties of implicit representation and explicit body regularization. To this end, we make two key observations: (1) current networks are better at inferring detailed 2D maps than full-3D surfaces, and (2) a parametric model can be seen as a "canvas" for stitching together detailed surface patches. Based on these, our method, ECON, has three main steps: (1) It infers detailed 2D normal maps for the front and back side of a clothed person. (2) From these, it recovers 2.5D front and back surfaces, called d-BiNI, that are equally detailed, yet incomplete, and registers these w.r.t. each other with the help of a SMPL-X body mesh recovered from the image. (3) It "inpaints" the missing geometry between d-BiNI surfaces. If the face and hands are noisy, they can optionally be replaced with the ones of SMPL-X. As a result, ECON infers high-fidelity 3D humans even in loose clothes and challenging poses. This goes beyond previous methods, according to the quantitative evaluation on the CAPE and Renderpeople datasets. Perceptual studies also show that ECON's perceived realism is better by a large margin. Code and models are available for research purposes at econ.is.tue.mpg.de

연구 동기 및 목표

• 암시적 함수 기반 방법이 새로운 자세와 느슨한 옷을 처리할 때 데그레드되거나 분리된 형태로 이어지는 한계를 해결하기 위해.
• 명시적 신체 모델이 미세한 옷 자국과 토폴로지(details)를 억압하는 과도한 제약을 극복하기 위해.
• 암시적 표현의 자유형상 유연성과 파arametric 신체 모델의 구조적 안정성의 장점을 조합하기 위해.
• 세밀한 2D 법선 맵을 중간 지도로 활용하여 3D 재구성 정밀도를 향상시키기 위해.
• 도전적인 자세와 느슨한 의복 조건에서도 완전하고 고해상도의 3D 인간 형태를 얻기 위해.

제안 방법

• 이 방법은 SMPL-X 신체 추정치에 조건부된 이미지 간 전환 네트워크를 사용해 옷을 입은 사람의 앞면과 뒷면에 대해 세밀한 2D 법선 맵을 먼저 추론한다.
• 그 후, SMPL-X 메쉬에서 유도된 깊이 맵과 함께 법선 맵을 기반으로, 법선 충실도, SMPL-X 일致성, 실루엣 일致성의 균형을 이루는 최신 최적화 기법을 사용해 불완전한 고주파 2.5D 표면(d-BiNI)을 재구성한다.
• d-BiNI 표면들은 SMPL-X를 통해 상호 등록되어 기하학적 정렬을 보장하면서도, 주름과 접히다중 같은 미세한 디테일을 유지한다.
• 앞면과 뒷면 표면 사이의 누락된 기하 구조는 스크리닝된 포아송 재구성 기법을 사용해 보간되며, 이는 구멍을 메우면서 매끄럽고 덩어리진 아티팩트를 방지한다.
• 얼굴과 손 부위는 인식적 품질 향상을 위해 선택적으로 더 깔끔하고 고해상도의 기하 구조로 SMPL-X 모델의 것을 교체할 수 있다.
• 최종 3D 형태는 볼륨화된 SMPL-X와 d-BiNI 표면을 기반으로 BCE 손실로 훈련된 MLP 기반의 점유도 네트워크를 통해 암시적으로 표현된다.

실험 결과

연구 질문

• RQ1 2D 법선 맵을 직접 3D 예측보다 더 높은 세부 사항을 갖춘 고해상도 3D 표면 재구성에 효과적으로 활용할 수 있는가?
• RQ2 명시적 신체 모델 정규화를 사용해 세부 옷 자국을 억압하지 않고도 재구성 안정성을 향상시킬 수 있는가?
• RQ3 법선 맵과 파arametric 메쉬를 통합함으로써 새로운 자세나 느슨한 의복 상황에서의 강건성을 향상시킬 수 있는가?
• RQ4 2단계 표면 재구성 및 보간 파이프라인은 종래의 엔드 투 엔드 암시적 함수 방법보다 실사성과 기하 정확도에서 뛰어난 성능을 낼 수 있는가?
• RQ5 d-BiNI와 포아송 보간의 조합은 차폐된 영역과 프로파일 영역을 다룰 때 기존 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• ECON은 CAPE 및 RenderPeople 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Chamfer Distance 및 F-Score와 같은 정량적 지표에서 뚜렷한 향상을 보였다.
• 인지 평가 결과, 인간 평가자들이 ECON의 재구성 결과가 PIFuHD, ICON, PaMIR보다 유의미하게 더 현실감 있다고 평가했다.
• 이 방법은 도전적인 자세에서도 복잡한 토폴로지(예: 느슨한 스커트, 흐르는 천)를 가진 세밀한 자유형상 의복을 성공적으로 재구성하였다.
• d-BiNI 최적화 단계는 법선 맵에서 유도된 고주파 표면 디테일을 효과적으로 유지하면서도 SMPL-X 메쉬와의 일致성을 유지하였다.
• 포아송 보간을 포함한 ECON의 전체 재구성 파이프라인은 다른 방법에서 흔히 볼 수 있는 덩어리진 아티팩트 없이 매끄럽고 일관된 3D 형태를 생성하였다.
• 이 방법은 이미지당 약 97~112초 내외로 실행되며, 개선된 ICON(115초)을 능가하고 최신 기술 수준의 성능을 유지하면서도 뛰어난 품질을 제공한다.