[논문 리뷰] Towards the Holodeck: Fully Immersive Virtual Reality Visualisation of Scientific and Engineering Data

Stefan Marks, Javier Estévez외 1명|AUT Scholarly Commons|2016. 04. 20.

Computer Graphics and Visualization Techniques참고 문헌 21인용 수 43

한 줄 요약

이 논문은 소비자용 VR 헤드셋과 광역 동작 캡처 시스템을 활용하여 과학적 및 공학적 데이터의 상호작용 가능한 탐색을 가능하게 하는 완전한 몰입형 가상현실(VR) 시각화 시스템을 제시한다. 두 가지 사례 연구를 통해 고유의 렌더링 엔진과 상용 게임 엔진을 각각 사용한 결과, 연구 및 공학 분야에서 시각화를 위한 몰입형 VR의 실현 가능성과 장점을 입증한다.

ABSTRACT

In this paper, we describe the development and operating principles of an immersive virtual reality (VR) visualisation environment that is designed around the use of consumer VR headsets in an existing wide area motion capture suite. We present two case studies in the application areas of visualisation of scientific and engineering data. Each of these case studies utilise a different render engine, namely a custom engine for one case and a commercial game engine for the other. The advantages and appropriateness of each approach are discussed along with suggestions for future work.

연구 동기 및 목표

• 접근 가능한 소비자용 VR 하드웨어를 사용하여 복잡한 과학적 및 공학적 데이터를 시각화하기 위한 완전한 몰입형 VR 환경을 개발하는 것.
• 고유 렌더링 엔진과 상용 게임 엔진 간의 성능 및 효과성의 차이를 평가하여 몰입형 데이터 탐색을 지원하는 데 기여하는 것.
• 실시간 3차원 시각화를 통한 VR 환경에서의 대규모 과학적 데이터 세트에 대한 상호작용적이고 공간적인 분석을 가능하게 하는 것.
• 실제 과학적 및 공학적 워크플로우에서 몰입형 VR의 실용적 응용 가능성을 입증하는 것.
• 연구 응용 분야를 위한 확장 가능하고 상호작용 가능한 VR 시각화 파이프라인을 구축할 때 발생하는 기술적 및 설계 과제를 규명하는 것.

제안 방법

• 소비자용 VR 헤드셋(예: Oculus Rift)과 광역 동작 추적 시스템을 통합하여 신체 전체 및 머리 이동 추적을 가능하게 하는 것.
• 몰입형 3차원 공간에서 과학적 데이터의 고해상도 및 저지연 시각화를 위한 고유의 렌더링 엔진을 구현하는 것.
• 빠른 프로토타ип링과 상호작용 렌더링을 위한 목적으로 상용 게임 엔진(예: Unity 또는 Unreal Engine)을 사용한 두 번째 시각화 파이프라인을 개발하는 것.
• VR 내에서 데이터의 3차원 공간적 조작을 위한 사용자 인터페이스 및 상호작용 메타포를 설계하며, 제스처 및 시선 기반 제어를 포함하는 것.
• 프레임 레이트를 높은 수준으로 유지하기 위해 레벨오브디테일 관리 및 가림 처리 기법과 같은 최적화된 렌더링 기법을 적용하는 것.
• 실시간으로 사용자 위치 및 방향을 동기화하기 위해 동작 캡처 데이터를 활용하여 가상 환경 내에서 자연스러운 탐색과 상호작용을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 소비자 수준의 VR 하드웨어를 어떻게 동작 캡처 시스템과 효과적으로 통합하여 확장 가능한 몰입형 시각화 환경을 구축할 수 있는가?
• RQ2 과학적 데이터 시각화를 위한 VR 환경에서 고유 렌더링 엔진과 상용 게임 엔진 간의 성능 및 사용성의 상호 교환 관계는 어떠한가?
• RQ3 전통적인 2차원 디스플레이에 비해 몰입형 VR이 복잡한 3차원 과학적 및 공학적 데이터 세트의 인지 및 분석 능력에 얼마나 기여하는가?
• RQ4 완전히 몰입형 3차원 VR 환경에서 과학적 데이터를 탐색하고 조작하는 데 가장 효과적인 상호작용 패러다임은 무엇인가?
• RQ5 고해상도 VR 환경에서 대규모이고 복잡한 데이터 세트를 렌더링할 때 실시간 렌더링 성능를 어떻게 유지할 수 있는가?

주요 결과

• 시스템은 소비자용 VR 하드웨어를 사용하여 복잡한 과학적 및 공학적 데이터 세트를 완전한 몰입형 VR 환경에서 실시간으로 저지연으로 시각화하는 데 성공했다.
• 고유 렌더링 엔진은 도메인 특화 데이터 포맷과 시각화 기법에 대해 더 높은 제어력을 제공했으며, 특히 렌더링 정밀도 및 최적화 측면에서 유리했다.
• 상용 게임 엔진은 개발 속도 향상에 기여했으며, 최소한의 엔지니어링 오버헤드로도 사용자 상호작용 및 시각적 품질을 높이는 강력한 도구를 제공했다.
• 동작 추적 통합은 자연스럽고 전신을 활용한 탐색 및 상호작용을 가능하게 하여 사용자 참여도와 데이터에 대한 공간적 이해도를 크게 향상시켰다.
• 두 접근 방식 모두 과학적 시각화를 위한 몰입형 VR의 실현 가능성을 입증했으며, 엔진 선택은 성능, 개발 속도, 맞춤화 요구 사항 등의 우선순위에 따라 달라졌다.
• 사용자 피드백에 따르면, 기존 2차원 디스플레이에 비해 VR에서 3차원 데이터 세트를 탐색할 때 공간 인지 능력과 데이터 통찰력이 향상된 것으로 나타났다.