[論文レビュー] Learning to Rearrange Voxels in Binary Segmentation Masks for Smooth Manifold Triangulation

Jianning Li, Antonio Pepe+3 more|arXiv (Cornell University)|Aug 11, 2021

Anatomy and Medical Technology被引用数 4

ひとこと要約

本論文は、低解像度入力を用いて高解像度の頭蓋骨再構成を行うための粗くから細かくまでの深層学習フレームワークを提案する。学習されたボクセル再配置と階層的画像合成を用いて、滑らかで多様体に適合する表面を回復する。バイナリ化された特徴ベクトルとハッシュテーブルベースの最近傍探索を活用することで、フル解像度ボリュームの直接的高メモリ処理を回避し、高品質な3Dプリント可能な三角形メeshを実現する。

ABSTRACT

Medical images, especially volumetric images, are of high resolution and often exceed the capacity of standard desktop GPUs. As a result, most deep learning-based medical image analysis tasks require the input images to be downsampled, often substantially, before these can be fed to a neural network. However, downsampling can lead to a loss of image quality, which is undesirable especially in reconstruction tasks, where the fine geometric details need to be preserved. In this paper, we propose that high-resolution images can be reconstructed in a coarse-to-fine fashion, where a deep learning algorithm is only responsible for generating a coarse representation of the image, which consumes moderate GPU memory. For producing the high-resolution outcome, we propose two novel methods: learned voxel rearrangement of the coarse output and hierarchical image synthesis. Compared to the coarse output, the high-resolution counterpart allows for smooth surface triangulation, which can be 3D-printed in the highest possible quality. Experiments of this paper are carried out on the dataset of AutoImplant 2021 (https://autoimplant2021.grand-challenge.org/), a MICCAI challenge on cranial implant design. The dataset contains high-resolution skulls that can be viewed as 2D manifolds embedded in a 3D space. Codes associated with this study can be accessed at https://github.com/Jianningli/voxel_rearrangement.

研究の動機と目的

• 高解像度ボリュームデータ（例：頭蓋骨）の3D医療画像処理における高メモリ消費を解決すること。
• 深層学習における標準的なダウンサンプリングで失われる細かな幾何的詳細を保持すること。
• 滑らかで多様体に適合する三角形メッシュを生成することで、再構成された頭蓋骨の高品質な3Dプリントを可能にすること。
• 直接的な高解像度画像の処理を避け、粗い表現と後処理を介して高解像度画像を間接的に再構成するメモリ効率の良い手法を開発すること。
• 頭蓋骨再構成にとどまらず、他のスパースで多様体に類似した医療画像タスクに一般化可能な技術を探索すること。

提案手法

• ダウンサンプリングされた（例：128³）バイナリセグメンテーションマスク上で深層ニューラルネットワークを学習し、粗い3D頭蓋骨表現を生成する。
• ハッシュテーブルを用いた最近傍探索により、バイナリ化された特徴ベクトル上で学習されたボクセル再配置を適用し、粗いボクセルを高解像度位置にマッピングする。
• 複数の解像度でテンプレート画像のピラミッドを構築し、高解像度出力のための階層的画像合成をガイドする。
• スパース畳み込みニューラルネットワーク（Submanifold Sparse CNN）を用いて、頭蓋骨データの空間的スパarsityとバイナリネスを活用し、FLOPsとメモリ使用量を削減する。
• バイナリ特徴符号化とハミング距離に基づく探索を実装し、ハッシュテーブル内の最近傍探索を高速化し、高速でメモリ効率の良いボクセルマッピングを実現する。
• 最近傍探索の結果を用いて画像合成を実行し、高解像度ボクセルを再構成する。ハッシュテーブルとkdツリーに基づく両方の方法を精度と効率の観点から評価する。

実験結果

リサーチクエスチョン

• RQ1 フル解像度データの直接処理なしに、粗くから細かくまでの深層学習パイプラインが、高解像度で滑らかで多様体に適合する頭蓋骨表面を再構成できるか？
• RQ2 ハッシュテーブルベースの最近傍探索を用いた学習されたボクセル再配置は、表面の滑らかさと幾何的忠実性を回復させるのにどの程度効果的か？
• RQ3 近似的（ハッシュテーブル）と正確（kdツリー）な最近傍探索を比較した場合、再構成品質と計算効率のトレードオフはどのようなものか？
• RQ4 バイナリ化された特徴ベクトルとスパース表現は、3D医療画像再構成におけるメモリとFLOP要件をどの程度削減できるか？
• RQ5 提案手法は、スパースで多様体に類似した構造を有する他の医療画像タスクにも一般化可能か？

主な発見

• 学習されたボクセル再配置手法は、3Dプリントに適した高品質で滑らかで多様体に適合する三角形メッシュを実現し、粗い入力よりも幾何的忠実性が優れていた。
• ハッシュテーブルベースの最近傍探索により、CPUメモリ使用量がkdツリー法の59％から12％にまで削減されたが、再構成品質は妥当な水準を維持した。
• kdツリー法は正確な最近傍探索によるため、わずかに高い再構成品質を達成したが、それに伴い顕著に高いメモリ使用量を要した。
• ボクセル再配置および画像合成の両手法とも、CPU上で1レベルあたり3分未塔で高解像度再構成を完了し、実用的利用の可能性を示した。
• バイナリ特徴ベクトルとスパース表現が、高解像度医療画像の効率的かつメモリ効率の良い処理を可能にすることを実証した。
• このフレームワークは一般化可能であり、空間的にスパースで多様体に類似した構造を有する他の医療画像セグメンテーションおよび再構成タスクにも適用可能である。