[논문 리뷰] Learning to Reconstruct People in Clothing from a Single RGB Camera

Thiemo Alldieck, Marcus Magnor외 3명|arXiv (Cornell University)|2019. 03. 14.

3D Shape Modeling and Analysis참고 문헌 83인용 수 13

한 줄 요약

Octopus는 단일 RGB 영상의 1~8 프레임으로 옷과 머리카락이 있는 세밀한 3D 인간 자세를 재구성하는 딥러닝 모델로, 10초 미만의 시간에 4~5 mm의 재구성 정확도를 달성한다. 이는 하부-상향 및 상부-하향 방식의 이중 스트림 CNN 아키텍처를 사용하여 자세에 영향을 받지 않는 형태 코드를 예측하고, 실루엣 정렬을 통해 예측값을 정밀하게 보정함으로써, 최소한의 입력으로도 빠르고 정확하며 완전 자동화된 3D 아바타 생성을 가능하게 한다.

ABSTRACT

This repository contains code corresponding to the paper Learning to Reconstruct People in Clothing from a Single RGB Camera.

연구 동기 및 목표

• 최소한의 단일 RGB 영상 프레임으로 옷을 입은 개인화된 인간 신체의 빠른 자동 3D 재구성 기능을 제공한다.
• 수시간이 소요되고 광범위한 사전 처리가 필요한 느린 최적화 기반 방법의 한계를 극복한다.
• 실제 3D 기준값 레이블이 필요 없이도 높은 재구성 정확도를 달성한다.
• 입력 프레임 수가 변할 수 있는 상황(최소 1장 포함)에서도 강력한 추론 성능을 보장한다.
• 실제 환경 데이터에 대해 일반화할 수 있도록 하되, 학습에 실존하는 3D 데이터가 아닌 합성 3D 데이터에만 의존한다.

제안 방법

• 모델은 F개의 입력 영상 프레임을 CNN을 통해 F개의 자세에 영향을 받지 않는 잠재 코드로 인코딩하고, 이를 표준 T자세 공간에서 하나의 형태 코드로 융합한다.
• 이중 스트림 아키텍처는 하부-상향 및 상부-하향 경로를 통해 SMPL 신체 파라미터와 3D 정점 오프셋(옷과 머리카락용)을 예측함으로써 상호 정보 교환을 가능하게 한다.
• 하부-상향 예측은 1회 뷰당 50ms 내외로 수행되며, 이후 실루엣 겹침 및 관절 재투영 오차 최적화를 통해 10초 내외로 상부-하향 보정이 이루어진다.
• 모델은 실존하는 3D 기준값이 없이도 합성 영상 시퀀스, 세분화 마스크, 관절 키포인트 레이블 등 합성 데이터만을 사용해 훈련된다.
• T자세 표준 공간은 형태 코드가 자세에 영향을 받지 않게 하여 다중 뷰 정보 융합을 효과적으로 가능하게 한다.
• 추론 과정에서 동일한 모델이 동일한 입력 프레임을 사용해 하부-상향 예측과 상부-하향 보정을 모두 수행함으로써 종단 간 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 단지 1~8프레임의 단일 RGB 영상으로 옷과 머리카락이 있는 세밀한 3D 인간 자세를 고정확도로 재구성할 수 있는가?
• RQ2 실제 3D annotation이 필요 없이도 하부-상향 예측의 속도와 상부-하향 보정의 정확도를 동시에 확보할 수 있는 단일 모델이 가능한가?
• RQ3 합성 데이터로만 훈련된 모델이 실세계의 단일 RGB 영상 데이터에 대해 얼마나 잘 일반화되는가?
• RQ4 입력 프레임 수와 최적화 시간이 재구성 정확도와 속도에 미치는 영향은 어떠한가?
• RQ5 VR/AR 및 가상 피팅과 같은 실시간 응용 분야에 적합하게 유지하면서도 고정확도를 달성할 수 있는가?

주요 결과

• Octopus는 100% 완전한 지도 학습 조건에서 평균 정점 재구성 오차 4.47 ± 4.41 mm를 기록하며, 상부-하향 최적화 후에는 3.17 ± 3.41 mm로 감소한다.
• 모델은 10%의 완전한 지도 학습 조건에서도 높은 정확도를 유지하며, 최적화 전 평균 오차 4.73 ± 4.56 mm, 최적화 후 3.46 ± 3.62 mm를 기록함으로써 제한된 지도 학습에 대한 강건성을 입증한다.
• 모델은 10초 미만으로 3D 자세를 재구성하며, 최첨단 최적화 기반 방법이 약 2시간이 소요되는 것에 비해 수 개의 주기수 배 빠른 속도를 확보한다.
• 시각적 비교 결과, Octopus는 120프레임 또는 RGB-D 데이터를 사용한 [6] 및 [9]와 유사한 결과를 도출함에도 불구하고, 단지 8개의 RGB 프레임만을 사용한다.
• 합성 데이터로만 훈련되었음에도 불구하고, PeopleSnapshot 및 LifeScans 데이터셋과 같은 실세계 데이터에 대해 잘 일반화된다.
• 표준 T자세 공간의 사용은 잠재 코드가 자세에 영향을 받지 않기 때문에 다중 뷰 정보 융합이 효과적으로 이루어질 수 있음을 보여준다.