[논문 리뷰] A Survey on Applications of Digital Human Avatars toward Virtual Co-presence

Matthew Korban, Xin Li|arXiv (Cornell University)|2022. 01. 11.

Virtual Reality Applications and Impacts인용 수 8

한 줄 요약

이 종합 검토는 가상 공동 존재(Virtual Co-Presence, VCP) 환경에서 디지털 인간 애벌러를 구현하기 위한 기술에 대해 포괄적인 분석을 제공하며, 애벌러 기반(직접 운동 리타겟팅 및 사전 렌더링된 운동)과 비애벌러 기반 접근법으로 방법을 분류한다. 3D 재구성, 운동 리타겟팅, 실시간 렌더링 분야의 기술적 발전을 추적하며, VCP 시스템의 현실감, 상호작용성, 몰입감 향상에 기여한 주요 발전을 강조한다.

ABSTRACT

This paper investigates different approaches to build and use digital human avatars toward interactive Virtual Co-presence (VCP) environments. We evaluate the evolution of technologies for creating VCP environments and how the advancement in Artificial Intelligence (AI) and Computer Graphics affect the quality of VCP environments. We categorize different methods in the literature based on their applications and methodology and compare various groups and strategies based on their applications, contributions, and limitations. We also have a brief discussion about the approaches that other forms of human representation, rather than digital human avatars, have been utilized in VCP environments. Our goal is to fill the gap in the research domain where there is a lack of literature review investigating different approaches for creating avatar-based VCP environments. We hope this study will be useful for future research involving human representation in VCP or Virtual Reality (VR) environments. To the best of our knowledge, it is the first survey research that investigates avatar-based VCP environments. Specifically, the categorization methodology suggested in this paper for avatar-based methods is new.

연구 동기 및 목표

• 특히 애벌러 기반 가상 공동 존재(Virtual Co-Presence, VCP) 환경에 초점을 맞춘 종합적인 문헌 검토가 부족한 점을 보완하기 위해.
• VCP에서 디지털 인간 애벌러를 생성하기 위한 기존 방법을 분류하고 비교하여 직접 운동 리타겟팅과 사전 렌더링된 운동 접근법 간의 차이를 명확히 하기 위해.
• AI 및 컴퓨터 그래픽스 분야의 발전이 애벌러 기반 VCP 시스템의 품질과 현실감에 미친 영향을 분석하기 위해.
• 비애벌러 대안(예: 로봇, 이동형 시스템, 이미지/비디오)이 VCP 환경에서 어떻게 기능하는지 평가하고, 애벌러 기반 솔루션과 대비하기 위해.
• 애벌러 기반 VCP 방법에 대한 새로운 분류 프레임워크를 제공하여 향후 VR 및 협업 가상 환경 내 인간 표현 분야의 연구 기반을 마련하기 위해.

제안 방법

• VCP 연구를 애벌러 기반(직접 운동 리타겟팅 및 사전 렌더링된 운동)과 비애벌러 기반(로봇, 이동형 시스템, 이미지/비디오) 접근법으로 분류하기.
• 이미지 기반 직접 운동 리타겟팅을 오프라인 및 온라인 운동 리타겟팅으로 분류하고, 추가로 3D 모델 재구성 및 레이어드 애벌러 사용으로 세분화하기.
• 웨어러블 장치, 트래킹 마커, 운동 캡처 시스템을 활용한 센서 기반 접근법을 실시간 애벌러 운동 매핑에 분석하기.
• 3D 모델 재구성 기술에 대한 기술적 검토를 수행하며, KinectFusion, 포isson 표면 재구성, DynamicFusion, Holoportation을 포함하여 실시간 성능 및 텍스처 처리 능력을 중점적으로 다루기.
• 단일 이미지 기반 재구성 방법, 예를 들어 InferGAN을 활용한 음영이 드러나지 않는 신체 부위의 텍스처 추론 분석하기.
• 응용 분야, 장점(예: 현실감, 처리 속도), 한계(예: 설정 복잡성, 음영) 및 시간에 따른 기술적 발전을 기반으로 방법 간 비교 분석하기.

실험 결과

연구 질문

• RQ1 AI 및 컴퓨터 그래픽스 분야의 발전이 VCP 환경에서 디지털 인간 애벌러의 품질과 현실감에 어떻게 향상시켰는가?
• RQ2 애벌러 기반 VCP 시스템에서 직접 운동 리타겟팅과 사전 렌더링된 운동 접근법 간의 주요 차이점과 상호 간의 상충 관계는 무엇인가?
• RQ3 정확도, 지연 시간, 실시간 적용 가능성 측면에서 이미지 기반 및 센서 기반 운동 리타겟팅 방법은 어떻게 비교되는가?
• RQ4 현재의 3D 재구성 기반 온라인 운동 리타겟팅 기술의 주요 한계는 무엇이며, 이러한 문제를 해결하기 위해 어떻게 발전해 왔는가?
• RQ5 비애벌러 기반 방법(예: 로봇, 이동형 시스템)은 애벌러 기반 솔루션과 비교해 효과적인 가상 공동 존재를 달성하는 데 어떤 방식으로 기여하는가?

주요 결과

• 오프라인에서 실시간 3D 재구성으로의 전환—DynamicFusion과 Holoportation를 사례로 볼 때—애벌러 기반 VCP 시스템의 반응성과 몰입감을 크게 향상시켰다.
• Holoportation는 다수의 RGB 및 적외선 카메라를 사용해 동적인 인간 주제에 대해 고품질의 텍스처가 구현된 3D 재구성을 가능하게 하지만, 복잡하고 고비용의 하드웨어 설정이 수반된다.
• Li 등(2019)과 같은 단일 이미지 기반 재구성 방법은 단일 RGB 이미지에서 3D 애벌러와 텍스처를 재구성함으로써 하드웨어 의존도를 감소시키지만, 여전히 음영 및 제한된 카메라 시야에 민감하다.
• 기술적 진보로 실시간 스캐닝 및 재구성이 가능해졌으며, DynamicFusion은 인간과 같이 극도로 변형되는 대상에 대해 RGBD 데이터의 온라인 융합을 허용한다.
• 이미지 기반 3D 재구성 기술은 이전의 문제를 해결하기 위해 발전해 왔다: Shapiro 등(2014)은 关键 포즈를 활용해 재구성 속도를 향상시켰고, Orts 등(2016)은 시간적 재구성을 도입해 추적 오차를 감소시켰다.
• 다시 말해, 진전이 있었음에도 불구하고 음영 영역, 음영이 드러나지 않는 영역, 텍스처 추론 문제 해결에 여전히 도전 과제가 존재하며, InferGAN은 텍스처 보완에 유망한 해결책을 제시하지만 완벽하지 않다.