[논문 리뷰] Inspection of histological 3D reconstructions in virtual reality. Supplementary Video

Oleg Lobachev|arXiv (Cornell University)|2020. 09. 02.

AI in cancer detection참고 문헌 94인용 수 5

한 줄 요약

이 논문은 시리얼 면역히스토화학적 단면에서 유도된 3D 히스토그램 재구성의 품질 관리(QC) 및 시각 분석을 위한 가상현실(VR) 기반 시스템을 제안한다. 몰입형 실시간 점검, 주석 처리, 메esh 페인팅 및 원본 단면과의 직접 비교를 가능하게 함으로써, 이 방법은 품질 관리 과정을 한 단계 빠르게 하고, 인간 골수 및 비장의 모세혈관 및 혈관 세포막과 같은 미세해부학적 구조의 정확한 분류를 가능하게 한다.

ABSTRACT

The video should supplement our paper on using virtual reality in medical research. We showcase the features of our visualization and present various approaches towards visual analytics of medical data sets in virtual reality. ... h264 8bit small.mov is a resized video in H.264 format. It should play anywhere. Please use other videos, if you can, as this one has only 30 fps and a rather small screen size. It would be hard to see details. However, this is the version to go, if you have old hardware or bad network connection. ... h264 8bit full.mov is a full-format FullHD video in H.264 format with 60 fps. It should play anywhere. ... h265 10bit.mov is a full-format FullHD video in H.265 format with 60 fps. This is the video with the best quality. If should play on any modern PC. The preprint of the paper is available under https://arxiv.org/abs/2009.00887.

연구 동기 및 목표

• 시리얼 면역히스토화학적 단면에서 유도된 3D 재구성에 대한 효과적인 품질 관리(QC) 방법의 부족을 해결하기 위해.
• 복잡한 3D 미세해부학적 구조를 점검하는 데 있어 전통적인 2D 시각화 및 비몰입형 도구의 한계를 극복하기 위해.
• 재구성된 메쉬의 혈관 및 세포 성분을 정확하고 상호작용 가능한 방식으로 분류하기 위해.
• 몰입형 시각 분석을 통해 도메인 전문가 간의 주석 처리 및 결과 공유를 간소화하기 위해.
• VR에서 원본 시리얼 단면과 직접 연결함으로써 3D 재구성을 신뢰할 수 있고 해석 가능한 방식으로 향상시키기 위해.

제안 방법

• 시리얼 단면에서 유도된 3D 히스토그램 재구성의 몰입형 점검을 위해 가상현실(VR)을 활용한다.
• 측면 비교를 위해 3D VR 환경 내에서 원본 시리얼 단면을 직접 시각화한다.
• 실시간 렲영 및 헤드 트래킹을 통해 자유로운 탐색과 동적 시점 제어를 가능하게 한다.
• 미세해부학적 실체(예: 모세혈관, 내피세포 등)에 대한 상호작용 주석 처리, 메쉬 페인팅 및 분류를 지원한다.
• 정렬 및 후처리 이후의 부피 데이터에서 표면 재구성을 위해 마칭 큐브 알고리즘을 사용한다.
• 내부 구조를 탐색하기 위해 프론트 플레인 클리핑 및 상호작용 가능한 '자르기' 기능을 제공한다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 VR 기반 점검이 3D 히스토그램 재구성의 품질 관리 속도와 정확도를 크게 향상시킬 수 있는가?
• RQ2 몰입형 시각화는 도메인 전문가가 모세혈관 및 혈관 세포막과 같은 복잡한 미세해부학적 구조를 분류하는 능력을 어떻게 향상시키는가?
• RQ3 재구성된 메쉬와 원본 시리얼 단면 간의 직접 비교가 재구성 정밀도에 대한 신뢰도를 어느 정도 향상시키는가?
• RQ4 상호작용 가능한 VR 도구는 미세해부학 연구에서 시각 분석의 인지 부담을 줄이고 효율성을 높일 수 있는가?
• RQ5 연구 팀 간의 3D 히스토그램 데이터 주석 처리 및 결과 공유에 있어 VR의 실용적 이점은 무엇인가?

주요 결과

• VR 기반 품질 관리는 비몰입형 방법에 비해 점검 과정을 한 단계 빠르게 한다.
• 몰입형 시각화 기능은 모세혈관 및 모세혈관 세포막을 포함한 미세해부학적 실체의 더 정확하고 신속한 분류를 가능하게 한다.
• 3D VR 환경 내에서 원본 시리얼 단면을 직접 겹쳐 놓음으로써 전문가들이 메쉬의 정밀도를 고정밀도로 검증할 수 있다.
• 메쉬 페인팅, 주석 처리 및 프론트 플레인 클리핑과 같은 상호작용 기능은 시각 분석 능력을 크게 향상시킨다.
• 공간 기반 맥락화된 주석 및 음성 메모(계획된 기능)를 통해 결과 공유를 효과적으로 지원한다.
• 이 접근법은 이미 이전의 논문(Steiniger 등, 2018a,b, 2020)에서 보고한 바와 같이 인간 골수 및 비장에서 새로운 미세해부학적 통찰을 제공하였다.