[논문 리뷰] Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images

Jakob Weiß, Nassir Navab|arXiv (Cornell University)|2021. 06. 09.

Computer Graphics and Visualization Techniques참고 문헌 43인용 수 9

한 줄 요약

이 논문은 전통적인 수작업으로 만든 전이 함수를 학습된 특징 추출 및 시각적 매핑으로 대체하는 다양한, 엔드 투 엔드 딥 러닝 프레임워크인 딥 디렉트 볼륨 렌더링(DeepDVR)을 소개한다. 2D 기준 이미지로 훈련함으로써 DeepDVR는 암묵적으로 의미론적 볼륨 분류 및 색상-투명도 매핑을 학습하여 수동 TF 조정 없이도 고품질이고 일반화 가능한 과학적 시각화를 가능하게 한다.

ABSTRACT

Volume Rendering is an important technique for visualizing three-dimensional scalar data grids and is commonly employed for scientific and medical image data. Direct Volume Rendering (DVR) is a well established and efficient rendering algorithm for volumetric data. Neural rendering uses deep neural networks to solve inverse rendering tasks and applies techniques similar to DVR. However, it has not been demonstrated successfully for the rendering of scientific volume data. In this work, we introduce Deep Direct Volume Rendering (DeepDVR), a generalization of DVR that allows for the integration of deep neural networks into the DVR algorithm. We conceptualize the rendering in a latent color space, thus enabling the use of deep architectures to learn implicit mappings for feature extraction and classification, replacing explicit feature design and hand-crafted transfer functions. Our generalization serves to derive novel volume rendering architectures that can be trained end-to-end directly from examples in image space, obviating the need to manually define and fine-tune multidimensional transfer functions while providing superior classification strength. We further introduce a novel stepsize annealing scheme to accelerate the training of DeepDVR models and validate its effectiveness in a set of experiments. We validate our architectures on two example use cases: (1) learning an optimized rendering from manually adjusted reference images for a single volume and (2) learning advanced visualization concepts like shading and semantic colorization that generalize to unseen volume data. We find that deep volume rendering architectures with explicit modeling of the DVR pipeline effectively enable end-to-end learning of scientific volume rendering tasks from target images.

연구 동기 및 목표

• 과학적 볼륨 렌더링에서 다차원 전이 함수의 수동, 전문가 중심 설계가 필요 없도록 하는 것.
• 도메인 전문가가 볼륨 데이터나 렌더링 파라미터에 대한 깊은 지식 없이도 직접 이미지 공간에서 원하는 시각적 외형을 지정할 수 있도록 하는 것.
• 엔드 투 엔드 훈련이 가능한 다양한, 모듈러한 DVR 파이프라인을 개발하는 것.
• 강력한 특징 학습을 통해 학습된 시각화를 새로운 시점과 알려지지 않은 볼륨 데이터셋에 일반화하는 것.
• 렌더링 품질을 유지하면서도 수렴 속도를 높이기 위해 새로운 스텝사이즈 안내링 계획을 통해 훈련을 가속화하는 것.

제안 방법

• 특징 추출, 분류, 병합 단계를 명시적으로 모델링하는 일반화된 다양한 DVR 파이프라인을 제안한다.
• 2D 기준 이미지를 감독으로 사용하여 딥 뉴럴 네트워크를 엔드 투 엔드로 훈련함으로써 3D 시각적 의미를 암묵적으로 학습할 수 있도록 한다.
• 명시적인 TF 파rameter화 없이도 딥 아키텍처가 시각적 매핑을 학습할 수 있도록 잠재 색상 공간 공식을 도입한다.
• 큰 레이 마이징 스텝에서 시작하여 점차 줄여나가는 스텝사이즈 안내링 계획을 사용하여 수렴 속도를 가속화한다.
• 3D U-Net 유사 인코더(예: VNet)와 이미지 공간 디코더(예: U-Net)를 조합한 모듈러 아키텍처를 사용하여 볼륨 및 이미지 공간에서의 통합 추론을 수행한다.
• 다양한 렌더링을 통해 이미지 공간 손실을 3D 특징 공간으로 역전파함으로써 2D 애너테이션에서 훈련할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 명시적인 3D 애너테이션 없이 2D 예시 이미지에서 복잡한 시각적 특징 매핑을 효과적으로 학습할 수 있는가?
• RQ2 학습된 모델은 원하는 시각적 의미를 유지하면서도 새로운 시점과 알려지지 않은 볼륨 데이터셋에 일반화되는가?
• RQ3 제안된 스텝사이즈 안내링 계획은 렌더링 품질을 떨어뜨리지 않고도 훈련 시간을 크게 줄이는가?
• RQ4 이미지 공간 감독을 통한 엔드 투 엔드 훈련이 기존 전이 함수 설계에 비해 분류 강도와 시각적 정밀도 측면에서 뛰어나게 성능을 높이는가?
• RQ5 최소한의 사용자 입력으로 프레임워크를 확장하여 의미론적 색상화 및 그림자 효과와 같은 고급 렌더링 효과를 학습할 수 있는가?

주요 결과

• DeepDVR 모델은 2D 기준 이미지에서 복잡한 시각화를 성공적으로 재현하며, 크기와 강도에 기반해 동맥과 정맥과 같은 해부학적 구조를 구분할 수 있다.
• 프레임워크는 새로운 시점과 알려지지 않은 볼륨 데이터에 대해 잘 일반화되어 있으며, 환자별 해부학적 변형에 대해 강건함을 보였다.
• 스텝사이즈 안내링 계획은 훈련 시간을 크게 줄였고, 일정한 작은 스텝 훈련과 비교해도 유사한 성능를 달성하면서 더 빠른 수렴을 이뤘다.
• 전이 함수를 룩업 테이블 대신 MLP로 표현할 경우 훈련 비용이 증가하고 이미지 품질이 악화되어, 학습된 매핑이 구조화되고 다양한 아키텍처에서 유익함을 입증했다.
• 2D 애너테이션에서 시각적 손실을 사용해 훈련한 VNet4-4 모델은 3D 레이블이 없이도 효과적인 3D 의미론적 세그먼테이션을 달성했으며, 이는 약한 감독 3D 학습 잠재력을 입증한다.
• 테스트 추론 시간은 오프라인 사용에 적합한 수준(프레임당 약 370ms)이며, 셰이더 기반 프로세스와 특징 캐싱을 통한 추가 최적화로 향후 인터랙티브 시각화가 가능해질 수 있다.