[논문 리뷰] SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video

Boyi Jiang, Yang Hong외 2명|arXiv (Cornell University)|2022. 01. 30.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SelfRecon는 암시적 신경 표현과 명시적 메시 변형을 융합하여 단일 카메라로 촬영한 자기 회전 영상에서 고해상도, 공간-시간 일관성 있는 디지털 아바타 재구성에 위한 자기지도 학습 방법을 제안한다. 기하학적 구조를 개선하면서도 주기적인 메시 업데이트를 통해 위상 일관성을 유지하기 위해 가분성 있는 신경 렌더링과 일致성 손실을 사용하며, 액터 전용 템플릿이 필요 없이 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose SelfRecon, a clothed human body reconstruction method that combines implicit and explicit representations to recover space-time coherent geometries from a monocular self-rotating human video. Explicit methods require a predefined template mesh for a given sequence, while the template is hard to acquire for a specific subject. Meanwhile, the fixed topology limits the reconstruction accuracy and clothing types. Implicit representation supports arbitrary topology and can represent high-fidelity geometry shapes due to its continuous nature. However, it is difficult to integrate multi-frame information to produce a consistent registration sequence for downstream applications. We propose to combine the advantages of both representations. We utilize differential mask loss of the explicit mesh to obtain the coherent overall shape, while the details on the implicit surface are refined with the differentiable neural rendering. Meanwhile, the explicit mesh is updated periodically to adjust its topology changes, and a consistency loss is designed to match both representations. Compared with existing methods, SelfRecon can produce high-fidelity surfaces for arbitrary clothed humans with self-supervised optimization. Extensive experimental results demonstrate its effectiveness on real captured monocular videos. The source code is available at https://github.com/jby1993/SelfReconCode.

연구 동기 및 목표

• 액터 전용 템플릿이 필요 없이 단일 카메라 자기 회전 영상에서 고해상도 디지털 아바타 재구성을 가능하게 하는 것.
• 고정된 위상 템플릿에 의존하는 명시적 방법과 공간-시간 일관성이 떨어지는 암시적 방법의 한계를 극복하는 것.
• 자신의 지도 학습 최적화를 통해 옷을 입은 일반 인간에 대해 공간-시간 일관성 있고 위상 일관성이 보장된 기하학적 구조를 달성하는 것.
• 암시적 표현의 장점(임의의 위상, 고해상도)과 명시적 표현의 장점(일관성, 그래픽 파이프라인과의 호환성)을 융합하는 것.

제안 방법

• 고정 템플릿 메시 대신 학습 가능한 서피스 거리 함수(SDF)를 기준 형태 표현으로 사용한다.
• 전방 변형 필드를 적용하여 기준점들을 현재 프레임 공간으로 매핑함으로써 시간에 걸쳐 일관된 변형을 가능하게 한다.
• 주기적으로 메시를 추출하고 변형 필드를 사용해 왜곡한 후, 미분 가능 마스크 손실과 부드러움 제약 조건을 통해 최적화한다.
• 이미지 재구성 손실, 색상, 예측된 법선 맵을 기반으로 가분성 있는 신경 렌더링을 사용해 기하학적 세부 정보를 정밀하게 보완한다.
• 암시적 표면와 명시적 메시 간의 기하학적 일致성을 확보하기 위해 일치성 손실을 도입하여 기하학적 정확성과 일관성을 보장한다.
• 아티팩트를 방지하고 최적화 안정성을 향상시키기 위해 법선 손실에 적응형 가중치를 적용한다.

실험 결과

연구 질문

• RQ1 암시적 표현과 명시적 표현을 효과적으로 융합하여 단일 영상에서 공간-시간 일관성 있는 3D 재구성을 달성할 수 있는가?
• RQ2 사전에 계산된 템플릿이 없이도 자기지도 학습 최적화를 설계하여 고해상도 기하학적 구조를 복원할 수 있는가?
• RQ3 후방 변형 대비 전방 변형과 주기적 메시 업데이트를 통해 일반화 성능을 향상시키고 최적화 난이도를 낮출 수 있는가?
• RQ4 색상, 마스크, 법선 맵 손실이 기하학적 세부 정보 복원과 함몰부 감소에 얼마나 기여하는가?
• RQ5 최종로 생성된 메시 시퀀스는 애니메이터블 아바타 생성 및 포즈 기반 렌더링과 같은 후속 응용을 지원할 수 있는가?

주요 결과

• SelfRecon는 실제 단일 카메라 자기 회전 영상에서 최신 기술 수준의 재구성 품질을 달성하며 기하학적 정확성과 세부 정보 복원에서 기존 방법을 능가한다.
• 절단 실험 결과, 마스크, 색상, 법선 손실을 조합하면 함몰부가 크게 감소하고 표면의 현실감이 향상되며, 특히 법선 손실이 비자연스러운 구멍을 제거하는 데 핵심적인 역할을 한다.
• 공간-시간 일관성 있고 위상 일관성이 보장된 메시 시퀀스를 생성하여 포즈 기반 애니메이션 및 텍스처 매핑과 같은 후속 응용을 가능하게 한다.
• 신경 렌더링 결과는 입력 영상과 시각적으로 유사하며, 생성된 아바타는 SMPL 포즈 파rameter로 타당하게 구동 가능하다.
• 법선 손실에 적응형 가중치를 적용함으로써 아티팩트를 방지하고 최적화 안정성을 향상시켜 특히 낮은 무늬 영역에서 유의미한 개선을 이룬다.
• 높은 재구성 품질에도 불구하고 최적화 과정은 여전히 계산 비용이 높아, 향후 우선 지식이나 더 빠른 렌더링 기법을 통한 가속이 필요하다.