[論文レビュー] Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images

Jakob Weiß, Nassir Navab|arXiv (Cornell University)|Jun 9, 2021

Computer Graphics and Visualization Techniques参考文献 43被引用数 9

ひとこと要約

本稿では、従来の手作業で設計された転送関数の代わりに学習された特徴抽出および視覚マッピングを用いる、微分可能でエンドツーエンドのディープラーニングフレームワーク、Deep Direct Volume Rendering (DeepDVR) を提案する。2Dの参照画像を用いて訓練することで、DeepDVRは暗黙的に意味的ボクセル分類および色・透明度マッピングを学習し、手動によるTFチューニングが不要な高品質で汎用性の高い科学的可視化を実現する。

ABSTRACT

Volume Rendering is an important technique for visualizing three-dimensional scalar data grids and is commonly employed for scientific and medical image data. Direct Volume Rendering (DVR) is a well established and efficient rendering algorithm for volumetric data. Neural rendering uses deep neural networks to solve inverse rendering tasks and applies techniques similar to DVR. However, it has not been demonstrated successfully for the rendering of scientific volume data. In this work, we introduce Deep Direct Volume Rendering (DeepDVR), a generalization of DVR that allows for the integration of deep neural networks into the DVR algorithm. We conceptualize the rendering in a latent color space, thus enabling the use of deep architectures to learn implicit mappings for feature extraction and classification, replacing explicit feature design and hand-crafted transfer functions. Our generalization serves to derive novel volume rendering architectures that can be trained end-to-end directly from examples in image space, obviating the need to manually define and fine-tune multidimensional transfer functions while providing superior classification strength. We further introduce a novel stepsize annealing scheme to accelerate the training of DeepDVR models and validate its effectiveness in a set of experiments. We validate our architectures on two example use cases: (1) learning an optimized rendering from manually adjusted reference images for a single volume and (2) learning advanced visualization concepts like shading and semantic colorization that generalize to unseen volume data. We find that deep volume rendering architectures with explicit modeling of the DVR pipeline effectively enable end-to-end learning of scientific volume rendering tasks from target images.

研究の動機と目的

• 科学的体積レンダリングにおける多次元転送関数の手動による専門的設計の必要性を排除すること。
• ドメインエキスパートが体積データやレンダリングパラメータの深い知識を必要とせずに、直接画像空間で望ましい視覚的外観を指定できること。
• 微分可能でモジュラーなDVRパイプラインを構築し、ディープニューラルネットワークを用いたエンドツーエンドの訓練を可能とすること。
• 学習された視覚化を、新しい視点や未観測の体積データセットに対しても、強固な特徴学習を用いて一般化できること。
• 新たなステップサイズアニーリングスキームを用いて訓練を高速化しながら、レンダリング品質を維持すること。

提案手法

• 特徴抽出、分類、合成の各ステージを明示的にモデル化する一般化された微分可能DVRパイプラインを提案する。
• 2Dの参照画像を監視情報として用いてディープニューラルネットワークをエンドツーエンドで訓練し、3Dの視覚的意味を暗黙的に学習可能にする。
• 明示的なTFパrameter化なしに、深層アーキテクチャが視覚的マッピングを学習できるように、潜在的色空間の定式化を導入する。
• 最初は大きなレイマーチングステップを用い、徐々にそれを小さくすることで収束を加速するステップサイズアニーリングスキームを採用する。
• 3D U-Netに類似たエンコーダ（例：VNet）と画像空間のデコーダ（例：U-Net）を組み合わせたモジュラーなアーキテクチャを用い、体積空間と画像空間の両方での推論を統合する。
• 微分可能レンダリングを活用して、画像空間の損失を3D特徴空間に逆伝播させ、2Dアノテーションからの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3Dアノテーションを明示的に与えずに、2Dの例示画像からディープニューラルネットワークが複雑な視覚的特徴マッピングを効果的に学習できるか？
• RQ2 学習されたモデルは、新しい視点や未観測の体積データセットに対しても、望ましい視覚的意味を保持したまま一般化できるか？
• RQ3 提案されたステップサイズアニーリングスキームは、レンダリング品質を損なうことなく訓練時間を顕著に短縮できるか？
• RQ4 画像空間の監視情報に基づくエンドツーエンドの訓練は、従来の転送関数設計に比べ、分類の強度と視覚的忠実度の両面で優れているか？
• RQ5 本フレームワークは、最小限のユーザー入力から、意味的カラーリングやシェーディングのような高度なレンダリング効果を学習可能に拡張できるか？

主な発見

• DeepDVRモデルは2Dの参照画像から複雑な可視化を再現する能力を効果的に習得しており、太さや強度に基づいて動脈と静脈を区別するような解剖学的構造の識別も可能である。
• 本フレームワークは新しい視点や未観測の体積データに対しても良好に一般化され、個々の患者に起因する解剖学的変異に対しても頑健であることが示された。
• ステップサイズアニーリングスキームにより訓練時間が顕著に短縮され、一定の小ステップで訓練した場合と同等の性能をより速く達成した。
• ルックアップテーブルではなくMLPを転送関数として用いることで訓練コストが上昇し、画像品質が劣化したため、構造的で微分可能なアーキテクチャが学習されたマッピングに有利であることが示された。
• 2Dアノテーションからの視覚的損失で訓練されたVNet4-4モデルは、3Dラベルを一切必要とせずに効果的な3D意味的セグメンテーションを達成した。これは、弱教師付き3D学習の可能性を示すものである。
• テスト時の推論時間はオフライン用途に十分に実用的（1フレームあたり370ms）であり、シェーダベースの前方伝播と特徴キャッシュを活用したさらなる最適化により、将来的にはインタラクティブな可視化が可能になると考えられる。