[논문 리뷰] Progressive tearing and cutting of soft-bodies in high-performance virtual reality

Manos Kamarianakis, Antonis Protopsaltis외 3명|arXiv (Cornell University)|2022. 09. 18.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 실시간으로 뼈대가 있는 연성 물체 메쉬의 점진적 찢어짐과 절단을 가능하게 하는 기하 기반 프레임워크를 제안한다. 선형 블렌드 스위팅 메쉬 위에 층화된 입자 시스템을 활용하여 저사양 기기에서도 10ms 이내 성능을 달성한다. 이 방법은 사전 처리나 유한요소법(FEM)의 오버헤드 없이 현실적인 제한 없는 외과 수준의 절단을 가능하게 하며, VR 의료 훈련 응용 분야에서 기존 방법들보다 빠르고 민첩한 성능을 제공한다.

ABSTRACT

We present an algorithm that allows a user within a virtual environment to perform real-time unconstrained cuts or consecutive tears, i.e., progressive, continuous fractures on a deformable rigged and soft-body mesh model in high-performance 10ms. In order to recreate realistic results for different physically-principled materials such as sponges, hard or soft tissues, we incorporate a novel soft-body deformation, via a particle system layered on-top of a linear-blend skinning model. Our framework allows the simulation of realistic, surgical-grade cuts and continuous tears, especially valuable in the context of medical VR training. In order to achieve high performance in VR, our algorithms are based on Euclidean geometric predicates on the rigged mesh, without requiring any specific model pre-processing. The contribution of this work lies on the fact that current frameworks supporting similar kinds of model tearing, either do not operate in high-performance real-time or only apply to predefined tears. The framework presented allows the user to freely cut or tear a 3D mesh model in a consecutive way, under 10ms, while preserving its soft-body behaviour and/or allowing further animation.

연구 동기 및 목표

• 고성능 가상현실 환경에서 뼈대가 있는 연성 물체 메쉬 모델의 실시간, 제한 없는 찢어짐과 절단을 가능하게 하기 위해.
• 이동형 VR 환경에서 너무 느리거나 유연성이 떨어지는 사전 정의된 또는 FEM 기반 절단 방법의 한계를 극복하기 위해.
• 찢어진 후에도 연성 물체의 변형 거동과 애니메이션 기능을 유지하여 외과 시뮬레이션에서 현실감을 확보하기 위해.
• 주류 게임 엔진인 Unity3D와 Unreal Engine과 호환되는 프레임워크를 개발하여 저사양 이동형 VR 헤드셋에 배포 가능한 환경를 조성하기 위해.
• 사용자 중심의 상호작용을 가능하게 하여 동적이고 몰입감 있는 VR 훈련 시나리오를 지원하기 위해 변형 가능한 조직에 대한 동적 상호작용을 가능하게 하기 위해.

제안 방법

• 프레임워크는 선형 블렌드 스위칭 메쉬 위에 층화된 입자 시스템을 사용하여 연성 물체의 변형을 시뮬레이션하고, 찢어진 후에도 현실적인 조직 반응을 가능하게 한다.
• 찢어짐은 뼈대가 있는 메쉬 표면에서 순수 기하 연산을 통해 수행되며, 고비용의 재메시피케이션 또는 FEM 솔버를 피한다.
• 효율적인 유클리드 기하 조건을 사용하여 뼈대 가중치 계산과 입자 업데이트를 수행하여 최소한의 계산 오버헤드를 확보한다.
• 찢어짐 작업은 원자적 단계로 분해된다: 교차점 탐지, 입자 분리, 메쉬 갱신, 입자 상태 전파.
• 모든 작업은 1프레임당 10ms 이내로 최적화되어 실시간 실행이 가능하며, GPU/CPU 부하도 최소화되어 이동형 VR 기기에서의 배포가 가능하다.
• 이 시스템은 Unity3D와 같은 게임 엔진에 원활하게 통합되며, 이미 MAGES SDK 경유로 제공 중이다.

실험 결과

연구 질문

• RQ1 사전 처리나 FEM 오버헤드 없이도 이동형 VR 환경에서 실시간(≤10ms)으로 연속적인 점진적 찢어짐을 달성할 수 있는가?
• RQ2 특히 외과 시뮬레이션 맥락에서 찢어진 후에도 현실적인 연성 물체의 변형을 어떻게 유지할 수 있는가?
• RQ3 VR 응용 분야에서 성능과 유연성 측면에서 FEM 또는 사전 정의된 애니메이션 방법보다 기하 기반 접근이 뛰어날 수 있는가?
• RQ4 실시간 VR 환경에서 복잡한 모델(예: 심장, 토끼)에 대해 제한 없는 사용자 주도 절단을 구현할 경우 계산 오버헤드는 어느 정도인가?
• RQ5 실시간 VR 렲영에서 다양한 복잡도와 메쉬 해상도를 가진 모델에 대해 이 방법은 어떻게 스케일링되는가?

주요 결과

• 구형 모델에 대해 총 찢어짐 작업 시간은 3.25ms, 토끼 모델은 11.19ms, 심장 모델은 18.65ms로 모두 고성능 VR을 위한 10ms 이내 기준을 충족한다.
• 최신 기술인 He 등(2022)의 경우 18,128개 면을 가진 큐브로드에 대해 52.77ms가 소요되었지만, 본 논문의 방법은 유사한 복잡도의 심장 모델에 대해 18.65ms를 기록하여 성능에서 뛰어난 우월성을 입증했다.
• 입자 업데이트 및 분리 단계가 가장 계산 오버헤드가 크며, 심장 모델 기준으로 입자 분리는 2.63ms가 소요되었지만 여전히 실시간 기준 내에 유지된다.
• 사용자의 행동 간 자연스러운 정신적 준비 시간 덕분에 고복잡도 모델에서도 VR 세션 동안 최소한의 성능 오버헤드를 유지한다.
• 찢어진 부분에서도 동적 연성 물체 거동을 유지하여 추가적인 변형과 애니메이션을 가능하게 하여 현실적인 외과 시뮬레이션에 필수적인 요소를 확보했다.
• 시스템은 이미 MAGES SDK에 통합되어 Unity3D에서 작동하며, 실제 의료 훈련 응용 분야에서의 실용적 배포 가능성을 입증했다.