[論文レビュー] Inspection of histological 3D reconstructions in virtual reality. Supplementary Video

Oleg Lobachev|arXiv (Cornell University)|Sep 2, 2020

AI in cancer detection参考文献 94被引用数 5

ひとこと要約

本論文は、連続した免疫ヒストロロジー断層から得られる3次元ヒストロロジー再構成の品質管理（QC）およびビジュアルアナリティクスのための仮想現実（VR）ベースのシステムを提案する。没入型でリアルタイムの点検、アノテーション、メッシュペイント、および元の断層との直接比較を可能にすることで、QCのスピードが10倍に向上し、ヒトの骨髄および脾臓における毛細血管および血管巣などの微細解剖的構造の正確な分類が可能になる。

ABSTRACT

The video should supplement our paper on using virtual reality in medical research. We showcase the features of our visualization and present various approaches towards visual analytics of medical data sets in virtual reality. ... h264 8bit small.mov is a resized video in H.264 format. It should play anywhere. Please use other videos, if you can, as this one has only 30 fps and a rather small screen size. It would be hard to see details. However, this is the version to go, if you have old hardware or bad network connection. ... h264 8bit full.mov is a full-format FullHD video in H.264 format with 60 fps. It should play anywhere. ... h265 10bit.mov is a full-format FullHD video in H.265 format with 60 fps. This is the video with the best quality. If should play on any modern PC. The preprint of the paper is available under https://arxiv.org/abs/2009.00887.

研究の動機と目的

• 連続した免疫ヒストロロジー断層から得られる3次元再構成のための効果的な品質管理（QC）手法の不足に対処すること。
• 複雑な3次元微細解剖的構造を点検する際、従来の2次元可視化および非没入型ツールの限界を克服すること。
• 再構成メッシュ内の血管および細胞成分の正確でインタラクティブな分類を可能にすること。
• 没入型ビジュアルアナリティクスを通じて、分野の専門家間でのアノテーションと情報共有を効率化すること。
• VR内で元の連続断層と直接リンクさせることで、3次元再構成の信頼性と解釈可能性を向上させること。

提案手法

• 連続断層から得られる3次元ヒストロロジー再構成の没入型点検に仮想現実（VR）を活用する。
• 3次元VR環境内に元の連続断層を直接可視化し、並べて比較可能にする。
• リアルタイムレンダリングとヘッドトラッキングを用いて、自由なナビゲーションと動的視点制御を実現する。
• 微細解剖的エンティティ（例：毛細血管、内皮細胞）のインタラクティブなアノテーション、メッシュペイント、分類をサポートする。
• 登録および後処理後のボリュームデータから表面再構成を行うために、マーチング・キューブス法を採用する。
• モデルの内部構造を探索するためのフロントプレーンクリッピングおよびインタラクティブな「カット」機能を提供する。

実験結果

リサーチクエスチョン

• RQ1 VRベースの点検は、従来の方法と比較して、3次元ヒストロロジー再構成の品質管理のスピードと正確性を著しく向上させるか？
• RQ2 没入型可視化は、毛細血管や血管巣などの複雑な微細解剖的構造を分類する分野の専門家の能力をどのように向上させるか？
• RQ3 再構成メッシュと元の連続断層の直接比較は、再構成の忠実度に対する信頼性をどの程度向上させるか？
• RQ4 インタラクティブなVRツールは、微細解剖学的研究におけるビジュアルアナリティクスの認知的負荷を軽減し、効率を向上させるか？
• RQ5 VRは、研究チーム間での3次元ヒストロロジーデータのアノテーションと情報共有にどのような実用的利点をもたらすか？

主な発見

• VRベースの品質管理は、非没入型手法と比較して点検プロセスを10倍に加速する。
• 没入型可視化により、後動脈性毛細血管および毛細血管巣を含む微細解剖的エンティティの分類がより正確かつ迅速に行える。
• 3次元VR環境内に元の連続断層を直接重ね合わせることで、専門家がメッシュの忠実度を高い精度で検証できる。
• メッシュペイント、アノテーション、フロントプレーンクリッピングなどのインタラクティブ機能は、ビジュアルアナリティクスの能力を顕著に向上させる。
• 空間的文脈に即したアノテーションと音声メモ（計画された機能）を通じて、研究結果の共有が効果的に行える。
• 本アプローチは、既に先行論文（Steiniger et al., 2018a,b, 2020）で報告されたように、ヒトの骨髄および脾臓における新しい微細解剖的知見をもたらしている。