[논문 리뷰] Antara: An Interactive 3D Volume Rendering and Visualization Framework

Pratik Kalshetti, Parag Rahangdale외 3명|arXiv (Cornell University)|2018. 12. 11.

Medical Image Segmentation Techniques참고 문헌 1인용 수 4

한 줄 요약

Antara는 MRI 데이터를 고정밀도 및 실시간 상호작용으로 시각화하기 위해 레이 캐스팅을 통한 직접 볼륨 렌더링(DVR)을 사용하는 오픈소스로 상호작용 가능한 3D 볼륨 렌더링 프레임워크를 제안한다. 전이 함수와 지상 진술 대비 딱 맞는 유사도 계수를 활용한 새로운 검증 방법을 통해 해부학적 구조, 특히 뼈의 정확한 시각화를 달성하며, 평균 점수 0.8176을 기록하여 의료 진단의 높은 정밀도를 입증한다.

ABSTRACT

The goal of 3D visualization is to provide the user with an intuitive interface which enables him to explore the 3D data in an interactive manner. The aim of the exploration is to identify and analyze anomalies or to give proof of the non-anomaly of the visualized organic structures. For 3D Medical Data, Magnetic Resonance Images (MRI) has been used. To create the 3D model, we used the Direct Volume Rendering technique. In the input 3D data, we have $x, y$ and $z$ coordinates and an intensity value for each voxel. The 3D data is used by Volume Ray Casting to compute 2D projections from 3D volumetric data sets. In ray casting, a ray of light is made to pass through the volume data. The interaction of each voxel with this ray is used to assign RGB and alpha values for every voxel in the volume. As a result, we are able to generate the 3D model of the region of interest using the 3D data. The 3D model is interactive, thus enabling us to visualize the different layers of the 3D volume by adjusting the transfer function.

연구 동기 및 목표

• 의료 볼륨 데이터의 상호작용 가능한 3D 시각화 프레임워크를 개발하여 내부 구조 탐색의 직관성을 향상시켜 진단 정확도를 높이기.
• 표면 피팅 방법의 한계(허위 양성 반응 및 저대비 또는 내부 기능을 시각화할 수 없음)를 극복하기 위해 직접 볼륨 렌더링(DVR)을 사용하기.
• 최적화된 레이 캐스팅 및 재귀적 렌더링 공식을 통해 사용자 조작에 따른 전이 함수 및 시점 조정 시 실시간 상호작용을 가능하게 하기.
• 2D 딱 맞는 유사도 계수를 3D로 확장하여 수동 지상 진술 대비 3D 볼륨 렌더링 결과를 평가하기 위한 새로운 검증 지표를 도입하기.
• 종양 탐지 및 가상 수술 계획과 같은 다기관 및 다조직 분석을 지원하며, 자동차 설계와 같은 비의료 분야에도 응용 가능성을 고려하기.

제안 방법

• 3D MRI 볼륨 데이터에서 2D 투영을 생성하기 위해 레이 캐스팅을 통한 직접 볼륨 렌더링(DVR)을 사용하여 표면 추출 없이 모든 볼륨 정보를 유지한다.
• 각 시점 레이를 따라 볼륨 강도 값을 RGB 및 알파(투명도) 값으로 매핑하기 위한 광학 모델을 사용하여 다양한 밀도를 가진 내부 기관의 시각화를 가능하게 한다.
• 깊이 인식과 현실감을 향상시키기 위해 풍모 조명 모델에 환경광, 확산광, 반사광 성분을 모두 적용한다.
• 풍모 모델에서 반사도와 시각적 명확도의 균형을 위해 반사도 계수를 60으로 설정하였으며, 비교 렌더링 실험을 통해 검증하였다.
• 각 렌더링 슬라이스를 세그멘테이션 결과로 간주하고 수동으로 세그멘테이션한 지상 진술과 비교하여 2D 딱 맞는 유사도 계수를 3D로 확장하여 정량적 평가를 수행한다.
• 렌더링 방정식의 재귀적 공식을 구현하여 계산을 가속화하고 사용자 조작에 따른 전이 함수 및 시점 조정 시 실시간 상호작용을 지원한다.

실험 결과

연구 질문

• RQ1 오픈소스로 상호작용 가능한 3D 볼륨 렌더링 프레임워크가 의료 MRI 데이터에 대해 고정밀도를 유지하면서도 실시간 성능을 달성할 수 있는가?
• RQ2 환경광, 확산광, 반사광 성분을 모두 포함한 완전한 조명 모델과 최적의 반사도 계수 설정이 렌더링된 3D 구조의 인지 품질과 진단 유용성에 어떤 영향을 미치는가?
• RQ3 수동 세그멘테이션 결과와 비교할 때 2D 딱 맞는 유사도 계수를 3D 볼륨 렌더링 정확도 평가에 의미 있게 확장할 수 있는 정도는 어느 정도인가?
• RQ4 레이 캐스팅을 사용한 DVR이 기존 표면 피팅 방법(예: 마칭 큐브)보다 저대비 조직에서 미세한 해부학적 특징과 이상을 더 잘 시각화하는가?
• RQ5 이 프레임워크는 임상 적용 분야에서 기관 특화 렌더링 및 가상 수술 계획을 지원하기 위해 일반화될 수 있는가?

주요 결과

• 재귀적 렌더링과 최적화된 레이 캐스팅을 통해 실시간 상호작용이 가능해져 사용자 조작에 따른 전이 함수 동적 조정이 가능하다.
• 모든 MRI 슬라이스에 대한 평균 딱 맞는 유사도 계수는 0.8176로 Antara의 렌더링 출력과 수동 세그멘테이션 지상 진술 간 강력한 일치를 나타낸다.
• 환경광, 확산광, 반사광 성분을 모두 포함한 풍모 조명 모델과 반사도 계수 60을 적용한 결과 가장 현실적이고 인지적으로 정확한 렌더링이 이루어졌다.
• 레이 캐스팅은 표면 피팅 방법보다 모든 내부 구조, 특히 저대비 및 분지형 기능까지 손실 없이 시각화하여 데이터 손실이나 왜곡 없이 렌더링하였다.
• 전이 함수 제어를 통한 3D 볼륨 렌더링은 axial, coronal, sagittal 평면에서 뼈와 연조직의 명확한 시각화를 가능하게 하였다.
• 적절한 조명 처리를 통해 복잡한 해부학적 특징을 강력하고 정확하게 탐지하였으며, 시각 결과에서는 가려진 영역가 적절한 조명 처리를 통해 명확히 강조되었다.