[논문 리뷰] Visualization of Large Volumetric Multi-Channel Microscopy Data Streams on Standard PCs

Tobias Brix, Jörg-Stefan Praßni외 1명|arXiv (Cornell University)|2014. 07. 08.

Advanced Fluorescence Microscopy Techniques참고 문헌 22인용 수 12

한 줄 요약

이 논문은 표준 데스크톱 PC에서 대규모 다중 채널 볼륨 미세망 데이터 스트림을 실시간으로 시각화하기 위한 증분 옥트리 기반 레이 캐스팅 기법을 제시한다. 데이터 로딩 중에 동적으로 옥트리를 구축함으로써, 고성능 하드웨어나 프리프로세싱 클러스터 없이도 부분적으로 로드된 데이터셋에 대한 실시간 상호작용을 가능하게 하며, 복잡한 렲링링 파rameter 설정과 결함 있는 스캔의 조기 탐지까지 지원한다.

ABSTRACT

Background: Visualization of multi-channel microscopy data plays a vital role in biological research. With the ever-increasing resolution of modern microscopes the data set size of the scanned specimen grows steadily. On commodity hardware this size easily exceeds the available main memory and the even more limited GPU memory. Common volume rendering techniques require the entire data set to be present in the GPU memory. Existing out-of-core rendering approaches for large volume data sets either are limited to single-channel volumes, or require a computer cluster, or have long preprocessing times. Results: We introduce a ray-casting technique for rendering large volumetric multi-channel microscopy data streams on commodity hardware. The volumetric data is managed at different levels of detail by an octree structure. In contrast to previous octree-based techniques, the octree is built incrementally and therefore supports streamed microscopy data as well as data set sizes exceeding the available main memory. Furthermore, our approach allows the user to interact with the partially rendered data set at all stages of the octree construction. After a detailed description of our method, we present performance results for different multi-channel data sets with a size of up to 24 GB on a standard desktop PC. Conclusions: Our rendering technique allows biologists to visualize their scanned specimen on their standard desktop computers without high-end hardware requirements. Furthermore, the user can interact with the data set during the initial loading to explore the already loaded parts, change rendering parameters like color maps or adjust clipping planes. Thus, the time of biologists being idle is reduced. Also, streamed data can be visualized to detect and stop flawed scans early during the scan process.

연구 동기 및 목표

• 표준 하드웨어에서 메인 메모리와 GPU 메모리의 한계를 초과하는 대규모 다중 채널 볼륨 미세망 데이터셋을 시각화하는 데 도전한다.
• 기존의 오프라인 메모리 기반 방법의 한계를 극복한다. 이는 단일 채널 데이터에만 제한되며, 클러스터가 필요하거나 장시간의 프리프로세싱 시간이 소요된다.
• 렌더링 과정 중에 부분적으로 로드된 데이터에 대한 실시간 사용자 상호작용을 가능하게 하여 정지 시간을 줄이고 워크플로우 효율성을 향상시킨다.
• 데이터 스트리밍 수신을 지원하여, 미세망 실험 중에 결함 있는 스캔을 조기에 탐지할 수 있도록 한다.
• 특수 하드웨어나 클러스터 인프라 없이도 생물학자들이 일반 데스크톱 시스템을 사용할 수 있는 접근 가능한 솔루션을 제공한다.

제안 방법

• 다중 해상도 수준에서 볼륨 데이터를 관리할 수 있는 증분 옥트리 데이터 구조를 사용하여 오프라인 렌더링을 가능하게 한다.
• 레이 캐스팅을 사용한 볼륨 렌더링을 수행하며, 옥트리가 구축되는 동안 데이터를 요청에 따라 로드하고 처리한다.
• 데이터 수신 중에 옥트리를 점진적으로 구축함으로써, 전체 데이터 로딩이 완료되기 전에도 시각화를 시작할 수 있도록 한다.
• 동일한 렌더링 파이프라인 내에서 각 채널을 별도로 처리함으로써 다중 채널 데이터를 지원한다.
• 부분적 데이터 로딩 중에도 실시간 사용자 상호작용(예: 색상 맵 조정, 클리핑 평면 조절)을 통합한다.
• 데이터 스트리밍과 주요 메모리 및 GPU 메모리에 필요한 옥트리 노드만 캐시함으로써 메모리 사용량을 최적화한다.

실험 결과

연구 질문

• RQ1 고성능 하드웨어 없이도 표준 데스크톱 PC에서 대규모 다중 채널 볼륨 미세망 데이터셋을 실시간으로 시각화할 수 있는가?
• RQ2 증분 옥트리 구축이 전체 데이터 로딩이 완료되기 이전에 실시간 렌더링과 사용자 상호작용을 가능하게 하는가?
• RQ3 이 방법이 데이터 스트리밍 수신을 지원하여, 미세망 실험 중에 스캔 오류를 조기에 탐지할 수 있는가?
• RQ4 데이터셋 크기와 채널 수가 증가함에 따라 증분 옥트리 방법의 성능가 어떻게 변화하는가?
• RQ5 동적 색상 맵과 클리핑 평면과 같은 복잡한 렌더링 파rameter를 지원하면서도, 인터랙티브 프레임 레이트를 유지할 수 있는가?

주요 결과

• 이 방법은 고성능 하드웨어 없이도 표준 데스크톱 PC에서 최대 24GB 크기의 다중 채널 미세망 데이터셋을 성공적으로 시각화한다.
• 데이터 로딩의 初기 단계부터 상호작용 가능한 렌더링이 가능하여 생물학자들의 정지 시간을 크게 줄였다.
• 사용자는 전체 데이터셋이 로드되기 전에도 색상 맵, 클리핑 평면 등의 렌더링 파arameter를 실시간으로 조정할 수 있다.
• 데이터 스트리밍 중에 시각화를 가능하게 하여 결함 있는 스캔을 조기에 탐지할 수 있도록 하여 실험 효율성을 향상시켰다.
• 증분 옥트리 구조는 프리프로세싱 없이도 다중 해상도 수준에서 데이터를 관리함으로써 효율적인 오프라인 렌더링을 가능하게 한다.
• 성능 결과는 이 방법이 일반 하드웨어에서 인터랙티브 프레임 레이트를 달성함으로써 일상적인 생물학 연구에 실용적임을 입증했다.