[논문 리뷰] ARCH++: Animation-Ready Clothed Human Reconstruction Revisited

Tong He, Yuanlu Xu외 3명|arXiv (Cornell University)|2021. 08. 17.

3D Shape Modeling and Analysis참고 문헌 70인용 수 9

한 줄 요약

ARCH++는 단일 이미지에서 고해상도, 애니메이션 준비된 3D 옷 입은 인간 아바타를 재구성하기 위한 종단간 엔드 투 엔드 이미지 기반 방법을 제안한다. 이는 모든 시점에서 개선된 기하학적 일관성과 질감 일관성을 제공한다. 이는 학습 가능한 점 기반 기하학 인코더, 자세된 상태와 캐논리컬 상태에서의 동시 점유 예측을 위한 공-supervision 프레임워크, 표면 정밀화를 위한 이미지 간 번역 기법을 도입하여, 합성 및 실세계 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present ARCH++, an image-based method to reconstruct 3D avatars with arbitrary clothing styles. Our reconstructed avatars are animation-ready and highly realistic, in both the visible regions from input views and the unseen regions. While prior work shows great promise of reconstructing animatable clothed humans with various topologies, we observe that there exist fundamental limitations resulting in sub-optimal reconstruction quality. In this paper, we revisit the major steps of image-based avatar reconstruction and address the limitations with ARCH++. First, we introduce an end-to-end point based geometry encoder to better describe the semantics of the underlying 3D human body, in replacement of previous hand-crafted features. Second, in order to address the occupancy ambiguity caused by topological changes of clothed humans in the canonical pose, we propose a co-supervising framework with cross-space consistency to jointly estimate the occupancy in both the posed and canonical spaces. Last, we use image-to-image translation networks to further refine detailed geometry and texture on the reconstructed surface, which improves the fidelity and consistency across arbitrary viewpoints. In the experiments, we demonstrate improvements over the state of the art on both public benchmarks and user studies in reconstruction quality and realism.

연구 동기 및 목표

• 단일 이미지에서 현실적이며 애니메이션 가능한 옷 입은 인간을 재구성하는 데 있어 이전의 암묵 함수 기반 방법의 한계를 해결하기 위해.
• 해체 시 자세된 상태에서의 정확도와 캐논리컬 상태에서의 완전성 사이의 상충 관계를 극복하기 위해.
• 일般적으로 질감과 기하학이 열악해지는 가림 영역에서의 재구성 품질을 향상시키기 위해.
• 수작업으로 만든 특징 또는 양자화 오류 없이 3D 기하학 및 외관 사전 지식의 종단간 학습을 가능하게 하기 위해.
• AR/VR 응용 분야에 적합한 일관되고 고해상도 360° 포토리얼리틱 아바타를 구현하기 위해.

제안 방법

• 3D 점군에서 직접 형태와 자세 사전 지식을 학습하기 위해 PointNet++를 사용하는 종단간 점 기반 기하학 인코더를 도입하여 수작업으로 만든 RBF 특징을 대체한다.
• 자세된 상태와 캐논리컬 상태에서의 점유 예측을 동시에 수행하고, 상호 상태 간 일관성 제약 조건을 통해 정확도와 완전성을 균형 잡는 공-supervision 프레임워크를 제안한다.
• 이미지 공간에서 표면 법선과 질감을 추정하기 위해 이미지 간 번역 네트워크를 활용하고, 이를 몰딩-인paint링 기반의 방법을 통해 3D 메쉬를 정밀화한다.
• 기하학과 외관을 함께 인코딩하여 일관된 재구성을 위한 픽셀 정렬 암묵 함수를 사용한다.
• 세부 사항을 유지하면서 자세된 상태로 예측를 전달하기 위해 가역적 워핑 기법을 적용하고, 자기 교차를 방지한다.
• 피부 스키닝 웨이트를 전달하기 위해 매개변수 기반 신체 모델(SMPL)을 활용하여 최종 아바타가 애니메이션 준비 상태임을 보장한다.

Figure 1: Given an image of a subject in arbitrary pose (left), our method could generate photorealistic avatars in both the posed input space (middle) as well as auto-rigged canonical space (right).

실험 결과

연구 질문

• RQ1 암묵 함수 기반 재구성에서 3D 인간 기하학의 표현을 어떻게 향상시켜 형태와 자세 사전 지식을 더 잘 포착할 수 있는가?
• RQ2 자세된 상태에서의 재구성 정확도와 캐논리컬 상태에서의 완전성 사이의 근본적인 상충 관계는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ3 이미지 기반의 법선 및 질감 정밀화는 가림 영역에서 3D 표면 품질을 향상시키고 시점 간 일관성을 확보하는 데 기여하는가?
• RQ4 공간적 특징의 종단간 학습은 수작업 특징 또는 볼륨 기반 인코딩에 비해 재구성 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 다양한 공간에서의 공-supervision은 애니메이션 가능한 옷 입은 인간 아바타의 현실감과 구조적 무결성을 어느 정도 향상시킬 수 있는가?

주요 결과

• ARCH++는 공개 벤치마크에서 최신 기술 수준의 성능을 달성하여 자세된 상태에서 평균 재구성 오차를 0.031로 줄였고, 캐논리컬 상태에서는 0.039로 이전 방법들을 능가한다.
• 학습된 점 기반 기하학 인코더는 수작업 RBF 특징 대비 오차를 0.002 감소시키며, 볼륨 기반 대안에서 발생하는 양자화 아티팩트를 방지한다.
• 자세된 상태와 캐논리컬 상태에서의 공-supervision은 과도한 확장 및 자기 교차와 같은 메쉬 아티팩트를 제거하여 정확도와 완전성을 모두 향상시킨다.
• 몰딩-인파인팅 정밀화를 통한 이미지 공간 법선 회귀는 물체 공간 회귀 또는 이미지 공간 입력 기반 베이스라인에 비해 특히 뒷면에서 더 선명한 표면 세부 정보를 생성한다.
• 사용자 연구 결과 ARCH++는 이전 방법들에 비해 모든 시점에서 더 현실적이고 일관된 아바타를 생성함을 확인했다.
• 이 방법은 복잡한 토폴로지 변화에 강건성을 보이며, 가림 영역에서도 세밀한 옷 주름과 질감을 성공적으로 재구성한다.

Figure 2: Overview of the initial joint-space implicit surface reconstruction . This procedure includes three components: i) semantic-aware geometry encoder, ii) pixel-aligned appearance encoder and iii) joint-space occupancy estimator. See text for detailed explanation.