[논문 리뷰] syGlass: Interactive Exploration of Multidimensional Images Using Virtual Reality Head-mounted Displays

Stanislav Pidhorskyi, Michael A. Morehead외 3명|arXiv (Cornell University)|2018. 04. 23.

Computer Graphics and Visualization Techniques참고 문헌 10인용 수 33

한 줄 요약

syGlass는 저비용 헤드셋 디스플레이(HMD)를 사용하여 대규모 다차원 생물의학 영상 데이터셋을 실시간으로 상호작용하고 몰입감 있게 탐색할 수 있는 VR 기반 소프트웨어 시스템이다. 최적화된 데이터 파이프라인을 통해 최대 16TB의 데이터셋을 실시간 볼륨 렌더링하며, 가상 환경에서 고도화된 3D 상호작용, 주석 달기, 시각화 도구를 제공하여 전통적인 2D 시각화 방법에 비해 복잡한 3D 구조의 인지 능력을 크게 향상시킨다.

ABSTRACT

The quest for deeper understanding of biological systems has driven the acquisition of increasingly larger multidimensional image datasets. Inspecting and manipulating data of this complexity is very challenging in traditional visualization systems. We developed syGlass, a software package capable of visualizing large scale volumetric data with inexpensive virtual reality head-mounted display technology. This allows leveraging stereoscopic vision to significantly improve perception of complex 3D structures, and provides immersive interaction with data directly in 3D. We accomplished this by developing highly optimized data flow and volume rendering pipelines, tested on datasets up to 16TB in size, as well as tools available in a virtual reality GUI to support advanced data exploration, annotation, and cataloguing.

연구 동기 및 목표

• 기존 2D 시각화 시스템으로는 탐색이 어려운 대규모이고 복잡한 3D 생물의학 영상 데이터셋을 시각화하고 상호작용하는 데 도전하는 것.
• 가상현실(VR)의 깊이 인식과 공간 인식 능력을 활용하여 복잡한 3D 생물학적 구조의 이해를 향상시키는 것.
• 소비자용 워크스테이션과 HMD를 사용하여 테라바이트 규모의 부피 데이터를 실시간으로 렌더링할 수 있는 고성능 상호작용 시스템을 개발하는 것.
• VR 환경 내에서 직접적으로 사용자 친화적인 3D 인식 도구를 제공하여 주석 달기, 데이터 카탈로그화, 협업 기반 데이터 탐색을 지원하는 것.
• 연구자가 시간에 따라 특징을 추적하고 관심 영역(ROI)을 정의하며, 카드 기반 시스템을 통해 복잡한 시각화 상태를 저장할 수 있도록 하는 것.

제안 방법

• 시스템은 최적화된 데이터 흐름과 직접 볼륨 렌더링(DVR) 파이프라인을 기반으로 한 네이티브 시각화 및 주석 달기 응용 프로그램(NVAA)을 사용하여 최대 16TB 크기의 데이터셋을 처리한다.
• 부피 영상 데이터는 빠른 GPU 전송을 위해 고유한 바이너리 컨테이너에 저장되며, 메esh 및 주석 데이터는 로컬 또는 원격 데이터베이스를 사용하는 파이썬 기반 서버 애플리케이션으로 관리된다.
• Electron 기반의 syBook 관리 애플리케이션은 프로젝트 관리, 카드 기반 상태 영속성, 여러 워크스테이션 간 사용자 협업을 가능하게 한다.
• 사용자 정의 VR GUI는 6-DOF 상호작용 도구를 제공하며, 3D 커서, 기능 추적, 관심 영역(ROI) 선택, 강도, 색상, 깊이, 기울기 기반 렌더링 등의 시각화 향상 도구를 포함한다.
• 전이 함수는 스칼라 값, 기울기 또는 깊이에 적용되어 기능의 가시성을 향상시키며, 다중 채널 및 색상 매핑 렌더링을 지원한다.
• 카드는 사용자 상태—카메라 위치, 셰이더 설정, 시점 등을 모두 직렬화하여 사용자가 복잡한 시각화 세션을 저장, 검색, 복원할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 저비용 HMD를 활용한 몰입형 VR은 대규모 다차원 생물의학 영상 데이터의 인지 능력과 탐색 능력을 어떻게 향상시킬 수 있는가?
• RQ2 스탠드-alone 워크스테이션에서 VR 환경에서 테라바이트 규모의 데이터셋을 실시간으로 직접 볼륨 렌더링하기 위해 필요한 성능 최적화는 무엇인가?
• RQ3 협업 기반 생물학 연구를 위해 VR 환경에서 상호작용 가능한 3D 주석 달기 및 데이터 카탈로그화를 효과적으로 지원하는 방법은 무엇인가?
• RQ4 신경 회로나 세포 소기관과 같은 복잡한 3D 생물학적 구조의 식별 및 분석을 향상시키기 위해 VR에서 가장 효과적인 시각화 기법은 무엇인가?
• RQ5 사용자 상호작용 상태를 지속적으로 저장하고 공유하여 반복적이고 협업 기반의 데이터 탐색을 지원하기 위한 방법은 무엇인가?

주요 결과

• syGlass는 소비자용 하드웨어와 HMD를 사용하여 최적화된 데이터 흐름 및 볼륨 렌더링 파이프라인을 통해 최대 16TB 크기의 데이터셋을 실시간으로 렌더링하는 데 성공했다.
• 시스템은 부피 영상 데이터에 대해 몰입형 스테레오스코픽 3D 상호작용을 가능하게 하여, 2D 슬라이스 단위의 시각화에 비해 복잡한 3D 구조의 인지 능력을 크게 향상시켰다.
• 기능 추적 도구를 통해 사용자는 3D 공간에 마커를 배치하여 시간에 따라 움직이는 생물학적 기능을 추적할 수 있으며, 연결된 시간적 트랙을 생성할 수 있다.
• ROI 도구를 통해 정육면체 영역을 선택하여 집중적 분석, 쿼리 또는 데이터 클리핑을 수행할 수 있어 탐색의 집중도를 높였다.
• 카드 시스템은 카메라 위치, 셰이더 설정, 시점과 같은 전체 사용자 상태를 효과적으로 캡처하고 복원하여 효율적인 탐색과 협업을 가능하게 했다.
• 강도, 색상, 깊이, 기울기 기반 전이 함수를 사용한 시각화 향상 기법이 렌더링된 부피에서 기능 탐지 능력과 구조의 명확성을 크게 향상시켰다.