[論文レビュー] Towards accurate quantitative photoacoustic imaging: learning vascular blood oxygen saturation in 3D

Ciaran Bench, Andreas Hauptmann+1 more|arXiv (Cornell University)|May 3, 2020

Photoacoustic and Ultrasonic Imaging参考文献 50被引用数 6

ひとこと要約

本論文では、現実的な組織モデルのマルチウェルブレット3次元PA画像から、血管血中酸素飽和度（sO2）を直接推定する3次元完全畳み込みニューラルネットワーク（FCN）を提案する。ノイズと限界視野アーチファクトを含むシミュレートされたデータで学習させたネットワークは、40件のテストケースにおいて平均絶対誤差4.4%を達成し、耐障害性と生体内定量PAイメージングへの応用可能性を示した。

ABSTRACT

Significance: 2D fully convolutional neural networks have been shown capable of producing maps of sO$_2$ from 2D simulated images of simple tissue models. However, their potential to produce accurate estimates in vivo is uncertain as they are limited by the 2D nature of the training data when the problem is inherently 3D, and they have not been tested with realistic images. Aim: To demonstrate the capability of deep neural networks to process whole 3D images and output 3D maps of vascular sO$_2$ from realistic tissue models/images. Approach: Two separate fully convolutional neural networks were trained to produce 3D maps of vascular blood oxygen saturation and vessel positions from multiwavelength simulated images of tissue models. Results: The mean of the absolute difference between the true mean vessel sO$_2$ and the network output for 40 examples was 4.4% and the standard deviation was 4.5%. Conclusions: 3D fully convolutional networks were shown capable of producing accurate sO$_2$ maps using the full extent of spatial information contained within 3D images generated under conditions mimicking real imaging scenarios. This work demonstrates that networks can cope with some of the confounding effects present in real images such as limited-view artefacts, and have the potential to produce accurate estimates in vivo.

研究の動機と目的

• 現実的な3次元PA画像から、血管血中酸素飽和度（sO2）の3次元マップを推定できる深層学習手法の開発を目的とする。
• トレーニングおよび推論の両方で完全な3次元空間的情報を活用することで、2次元ネットワークの限界を克服することを目的とする。
• ノイズや限界視野アーチファクトを含む現実的なイメージング条件における性能を評価することを目的とする。
• 光線フラランスの事前モデル化を必要としない状況でも、深層学習が複雑で不均一な組織モデルにおけるsO2を正確に回復できることを示すこと。
• 腫瘍の酸素化状態モニタリングなどの臨床的応用分野における正確で定量的なPAイメージングの基盤を確立すること。

提案手法

• マルチウェルブレット3次元PA画像から3次元sO2マップと血管位置を予測する2つの別々の3次元完全畳み込みニューラルネットワークを訓練した。
• 皮膚層および複数波長における血液の現実的な光学的特性を用いて、Monte Carloシミュレーション（MCXLAB）により3次元PAデータをシミュレートした。
• 各時間系列の最大振幅に基づく信号対ノイズ比（SNR）モデルを用いて、シミュレートされた圧力信号にノイズを追加した。
• k-Wave時間反転アルゴリズムを用いて、ノイズを含む圧力データから3次元PA画像を再構成した。
• 解剖学的複雑性にわたる一般化を図るため、異なる組織および血管配置を有する2000件のシミュレート済みデータセットでネットワークを学習させた。
• 性能評価は、40件の独立したテスト例において、血管内真の平均sO2と予測されたsO2値との間の平均絶対差を用いた。

実験結果

リサーチクエスチョン

• RQ1 3次元完全畳み込みネットワークは、現実的な3次元PA画像から血液酸素飽和度（sO2）を正確に推定できるか？
• RQ2 3次元データで学習したネットワークが、ノイズや限界視野アーチファクトといった現実的要因を含む画像でテストされた場合、どのような性能を示すか？
• RQ3 光線フラランスの明示的モデル化を必要としない状況で、深層学習がどれほどsO2を回復できるか？
• RQ4 3次元アーキテクチャは、空間的正確性を保ち、推定誤差を低減する点で2次元アプローチを上回るか？
• RQ5 本ネットワークは、現実的なシミュレーション環境下で多様な血管幾何形状および組織の光学的特性に一般化できるか？

主な発見

• 3次元完全畳み込みネットワークは、40件のテスト例において、予測値と真の平均血管sO2との間で平均絶対誤差4.4%を達成した。
• 40件のテスト例における誤差の標準偏差は4.5%であり、多様な組織構成において一貫した性能を示した。
• 現実的なイメージング状況に見られるノイズや限界視野アーチファクトに対して、ネットワークは耐障害性を示し、生体内応用の可能性を示唆した。
• ネットワークアーキテクチャにおける3次元空間的文脈の活用は、特に複雑な血管領域において、2次元アプローチと比較して推定精度を顕著に向上させた。
• 組織の光学的フラランスの事前知識を必要とせず、生データからのエンドツーエンド学習に依存することで、sO2を正常に回復できた。
• これらの結果は、臨床的に関連する3次元組織環境におけるsO2の定量的PAイメージングを実現するための深層学習の実現可能性を裏付けた。