[论文解读] Inspection of histological 3D reconstructions in virtual reality. Supplementary Video

Oleg Lobachev|arXiv (Cornell University)|Sep 2, 2020

AI in cancer detection参考文献 94被引用 5

一句话总结

本文提出了一种基于虚拟现实（VR）的系统，用于对来自连续免疫组织化学切片的3D组织学重建进行质量控制（QC）和可视化分析。通过实现沉浸式、实时的检查、注释、网格着色以及与原始切片的直接对比，该方法使质量控制速度提升了整整一个数量级，并实现了对人类骨髓和脾脏中毛细血管和血管周鞘等微结构的精确分类。

ABSTRACT

The video should supplement our paper on using virtual reality in medical research. We showcase the features of our visualization and present various approaches towards visual analytics of medical data sets in virtual reality. ... h264 8bit small.mov is a resized video in H.264 format. It should play anywhere. Please use other videos, if you can, as this one has only 30 fps and a rather small screen size. It would be hard to see details. However, this is the version to go, if you have old hardware or bad network connection. ... h264 8bit full.mov is a full-format FullHD video in H.264 format with 60 fps. It should play anywhere. ... h265 10bit.mov is a full-format FullHD video in H.265 format with 60 fps. This is the video with the best quality. If should play on any modern PC. The preprint of the paper is available under https://arxiv.org/abs/2009.00887.

研究动机与目标

• 为解决从连续免疫组织化学切片生成的3D重建缺乏有效质量控制（QC）方法的问题。
• 克服传统2D可视化和非沉浸式工具在检查复杂3D微结构时的局限性。
• 实现在重建网格中对血管和细胞组分的精确、交互式分类。
• 通过沉浸式可视化分析，简化领域专家之间对发现的注释与沟通。
• 通过在VR中直接关联原始连续切片，提升3D重建的可靠性与可解释性。

提出的方法

• 利用虚拟现实（VR）实现对来自连续切片的3D组织学重建的沉浸式检查。
• 在3D VR环境中集成原始连续切片的直接可视化，以实现并排对比。
• 采用实时渲染与头部追踪技术，实现自由导航与动态视角控制。
• 支持对微结构实体（如毛细血管、内皮细胞等）的交互式注释、网格着色与分类。
• 在配准和后处理之后，使用移动立方体算法从体数据中进行表面重建。
• 支持前平面裁剪和交互式“切割”操作，以探索模型内部结构。

实验结果

研究问题

• RQ1 与传统方法相比，基于VR的检查是否能显著提升3D组织学重建质量控制的速度与准确性？
• RQ2 沉浸式可视化在多大程度上提升了领域专家对复杂微结构（如毛细血管和血管周鞘）的分类能力？
• RQ3 将重建网格与原始连续切片进行直接对比，在多大程度上提升了对重建保真度的信心？
• RQ4 交互式VR工具是否能降低认知负荷并提高微结构研究中可视化分析的效率？
• RQ5 VR在研究团队之间对3D组织学数据的发现进行注释与沟通方面，具有哪些实际优势？

主要发现

• 基于VR的质量控制使检查过程的速度相比非沉浸式方法提升了整整一个数量级。
• 沉浸式可视化使微结构实体（包括后动脉毛细血管和毛细血管周鞘）的分类更加准确且迅速。
• 在3D VR环境中直接叠加原始连续切片，使专家能够以高精度验证网格的保真度。
• 网格着色、注释和前平面裁剪等交互功能显著增强了可视化分析能力。
• 该系统通过空间上下文相关的注释和语音备忘录（计划功能）支持了发现的有效沟通。
• 该方法已在先前发表的研究中（Steiniger et al., 2018a,b, 2020）促成人类骨髓和脾脏中全新的微结构发现。