[論文レビュー] Antara: An Interactive 3D Volume Rendering and Visualization Framework

Pratik Kalshetti, Parag Rahangdale+3 more|arXiv (Cornell University)|Dec 11, 2018

Medical Image Segmentation Techniques参考文献 1被引用数 4

ひとこと要約

Antaraは、レイトレーシングを用いた直接体積レンダリング（DVR）により、高精細でリアルタイムインタラクティビティを実現するオープンソースのインタラクティブ3D体積レンダリングフレームワークを提案する。トランスファーファンクションと、Dice類似係数を用いた新規検証手法を採用することで、解剖学的構造、特に骨の正確な可視化を実現し、正解データとの平均スコアが0.8176に達し、医療診断における高い正確性を示している。

ABSTRACT

The goal of 3D visualization is to provide the user with an intuitive interface which enables him to explore the 3D data in an interactive manner. The aim of the exploration is to identify and analyze anomalies or to give proof of the non-anomaly of the visualized organic structures. For 3D Medical Data, Magnetic Resonance Images (MRI) has been used. To create the 3D model, we used the Direct Volume Rendering technique. In the input 3D data, we have $x, y$ and $z$ coordinates and an intensity value for each voxel. The 3D data is used by Volume Ray Casting to compute 2D projections from 3D volumetric data sets. In ray casting, a ray of light is made to pass through the volume data. The interaction of each voxel with this ray is used to assign RGB and alpha values for every voxel in the volume. As a result, we are able to generate the 3D model of the region of interest using the 3D data. The 3D model is interactive, thus enabling us to visualize the different layers of the 3D volume by adjusting the transfer function.

研究の動機と目的

• 医療用ボリュームデータのインタラクティブ3次元可視化フレームワークの開発を通じて、内部構造の直感的探索を可能にし、診断精度の向上を図ること。
• 表面フィッティング手法の限界（誤検出や低コントラスト・内部特徴の可視化不能）を解消するため、直接体積レンダリング（DVR）を採用すること。
• 最適化されたレイトレーシングと再帰的レンダリング式を用いて、ユーザーによるトランスファーファンクションや視点の調整に対してもリアルタイムでの相互作用を可能にすること。
• 2次元のDice類似係数を3次元に適応させることで、手動によるセグメンテーションと比較した3次元体積レンダリング結果の評価に新たな検証指標を導入すること。
• 腫瘍検出やバーチャル手術計画を含む多臓器・多組織解析を可能とし、自動車設計など医療外分野への応用可能性を示すこと。

提案手法

• 3次元MRIボリュームデータから2次元投影を生成するために、レイトレーシングを用いた直接体積レンダリング（DVR）を採用し、表面抽出を経由せずにボクセル情報のすべてを保持する。
• 各視線方向のボクセル強度値をRGBおよびアルファ（不透明度）値にマッピングする光学モデルを用い、密度の異なる内部構造の可視化を可能にする。
• 深さの認識とリアリズムを向上させるために、アンビエント、ディフューズ、スペキュラーの3成分を含むフォンシェーディングモデルを適用する。
• フォンモデルにおけるシャイニネス係数を60に設定し、表面の反射性と視認性のバランスを最適化し、比較的レンダリング実験により妥当性を検証した。
• 2次元のDice類似係数を3次元に拡張するため、各レンダリングスライスをセグメンテーション結果とみなして、手動セグメンテーションの正解データと照合し、定量的評価を実施した。
• レンダリング方程式の再帰的定式化を実装し、計算を高速化するとともに、ユーザーがトランスファーファンクションや視点を動的に変更する際のリアルタイム対応を実現した。

実験結果

リサーチクエスチョン

• RQ1 オープンソースでインタラクティブな3次元体積レンダリングフレームワークは、医療用MRIデータに対して高精細な可視化を維持しながらも、リアルタイム性能を達成できるか？
• RQ2 アンビエント、ディフューズ、スペキュラーの完全な照明モデルと最適なシャイニネス値の統合が、レンダリング画像の知覚的質と診断的有用性に与える影響はいかほどか？
• RQ3 2次元のDice類似係数を3次元体積レンダリングの正確性評価に意味的に拡張できる範囲はどの程度か？特に手動セグメンテーションと比較した場合に。
• RQ4 レイトレーシングを用いたDVRは、従来の表面フィッティング手法（例：マーチング・キューブス）に比べ、低コントラスト組織内の微細な解剖学的特徴や奇形をどのように優れて可視化できるか？
• RQ5 このフレームワークは、臨床応用における臓器特異的レンダリングやバーチャル手術計画をサポートするよう一般化可能か？

主な発見

• 再帰的レンダリングと最適化されたレイトレーシングにより、フレームワークはリアルタイムでのインタラクティビティを達成し、可視化中にトランスファーファンクションの動的調整が可能となった。
• すべてのMRIスライスにおける平均Dice類似係数は0.8176であり、Antaraのレンダリング出力と手動セグメンテーションの正解データとの間で強い一致を示している。
• アンビエント、ディフューズ、スペキュラーの3成分すべてを含むフォンシェーディングモデルにシャイニネス係数60を適用した場合、最も現実的で知覚的に正確なレンダリングが得られた。
• レイトレーシングは、表面フィッティング手法に比べ、低コントラストや分岐構造を含むすべての内部構造を欠落や歪みなく可視化でき、優れた性能を示した。
• トランスファーファンクション制御を併用した3次元体積レンダリングにより、軸断層、冠状断層、矢状断層の各平面で、骨および軟部組織の構造が明確に可視化された。
• フレームワークは微細な解剖学的特徴の検出においても、適切なシェーディングにより閉塞領域が明確に強調されるなど、頑健で正確な性能を示した。