[論文レビュー] Photoacoustic Microscopy with Sparse Data Enabled by Convolutional Neural Networks for Fast Imaging

Jiasheng Zhou, Da He+4 more|arXiv (Cornell University)|Jun 8, 2020

Photoacoustic and Ultrasonic Imaging参考文献 32被引用数 4

ひとこと要約

本論文は、スパースなデータから高品質な光音響マイクロスコピー（PAM）画像を再構成する畳み込みニューラルネットワーク（CNN）ベースの手法を提案する。この手法により、走査点を削減することで、より高速なイメージングが可能になる。残差ブロック、スイッチング・エクスカーション（SE）モジュール、および知覚損失関数を活用することで、1/4 または 1/16 のサンプリングされたPAM画像を、ほぼフル解像度に近い品質に回復させ、葉の葉脈および生体組織（マウスの耳と目）のデータにおいて、定量的指標と視覚的忠実度の両面で従来手法を顕著に上回る性能を発揮する。

ABSTRACT

Photoacoustic microscopy (PAM) has been a promising biomedical imaging technology in recent years. However, the point-by-point scanning mechanism results in low-speed imaging, which limits the application of PAM. Reducing sampling density can naturally shorten image acquisition time, which is at the cost of image quality. In this work, we propose a method using convolutional neural networks (CNNs) to improve the quality of sparse PAM images, thereby speeding up image acquisition while keeping good image quality. The CNN model utilizes both squeeze-and-excitation blocks and residual blocks to achieve the enhancement, which is a mapping from a 1/4 or 1/16 low-sampling sparse PAM image to a latent fully-sampled image. The perceptual loss function is applied to keep the fidelity of images. The model is mainly trained and validated on PAM images of leaf veins. The experiments show the effectiveness of our proposed method, which significantly outperforms existing methods quantitatively and qualitatively. Our model is also tested using in vivo PAM images of blood vessels of mouse ears and eyes. The results show that the model can enhance the image quality of the sparse PAM image of blood vessels from several aspects, which may help fast PAM and facilitate its clinical applications.

研究の動機と目的

• 点ごとの走査によるPAMシステムにおける、走査点の削減による光音響マイクロスコピー（PAM）のイメージング速度の向上を目的とする。
• 点ごとの走査PAMシステムにおける、イメージング速度と画像品質のトレードオフを解決することを目的とする。
• 低スケーリングデータからの高忠実度PAM画像の再構成を実現する深層学習ベースの画像再構成手法の開発を目的とする。
• 広範な生物医学的応用性を検証するため、除菌処理済みの葉の葉脈標本および生体組織（耳と目）のマウス組織に対して、本手法を評価することを目的とする。
• 本手法が、木のようないびつな血管構造や放射状の血管構造を含む、さまざまな組織パターンに対しても、強靭であることを示すこと

提案手法

• 独自に設計したCNNアーキテクチャは、特徴の学習に残差ブロックを、チャネルごとの特徴の重要度を強化するためにスイッチング・エクスカーション（SE）ブロックを組み合わせる。
• モデルは、低スケーリングPAM画像（フル解像度の1/4または1/16）を潜在的なフルスケール画像にマッピングすることで、画像のスーパーレゾリューションを実行する。
• 訓練時に知覚損失関数を用いることで、MSEのみの訓練で一般的に生じるぼやけを避けるために、微細なテクスチャーや構造的詳細を保持する。
• ネットワークは、オークおよびマグノリアの葉の葉脈の268枚のフルスケールPAM画像で構成されるデータセットを用いて訓練および検証され、低スケーリング版は一様な空間的ダウンサンプリングにより生成される。
• PSNRとSSIMの指標を用いて評価され、微調整なしに生体PAMデータに対してテストが実施され、生物学的組織へのゼロショット一般化の能力が示された。
• 画像再構成は、深さ方向に沿ったPAMデータの2次元最大振幅プロジェクション（MAP）を用い、ネットワークの入力および出力として使用される。

実験結果

リサーチクエスチョン

• RQ1 深層CNNは、元の走査点の1/4または1/16のわずかな点数でのスパースデータから、高品質なPAM画像を効果的に再構成できるか？
• RQ2 スイッチング・エクスカーション（SE）ブロックと知覚損失の導入により、MSE損失を用いる標準的なCNNと比較して、画像再構成性能がどのように向上するか？
• RQ3 葉の葉脈パターンで訓練されたモデルは、異なる血管形態を示すマウスの耳と目の生体PAM画像に一般化可能か？
• RQ4 本手法は、診断用の画像品質を維持しつつ、PAMにおけるイメージング速度をどの程度向上できるか？
• RQ5 ピクセル単位のMSE損失と比較して、知覚損失関数は微細な解剖学的構造の保存に優れているか？

主な発見

• 提案されたCNNモデルは、1/4および1/16のサンプリング状況において、バイキュービック補間およびEDSRを顕著に上回り、PSNRで最大1.3876 dB、SSIMで0.0936の向上を達成した。SEブロックを組み込むことでその効果が顕著に現れた。
• 知覚損失関数により、視覚的に優れた再構成が得られ、図4の青矢印で示されるような微細なテクスチャーや小さな枝分かれが、MSEで訓練されたモデルでは失われるのに対し、本手法では保持されている。
• マウスの耳PAM画像（4倍スケーリング）において、PSNRは28.7 dB、SSIMは0.89を達成し、定量的および定性的な両評価でベースライン手法を上回った。
• 放射状の血管構造を示すマウスの眼画像において、本手法は高い構造的忠実度とエッジの鋭さを維持しており、訓練データをはるかに超えるパターン変動に対しても強靭であることが示された。
• 1/16のサンプリングでフルスケールPAMと同等の画像品質を回復させつつ、イメージング取得速度を4倍に向上させ、より高速な動的イメージングを可能にした。
• アブレーションスタディにより、SEブロックが性能向上に顕著な貢献をしていることが確認され、4倍スケーリング下でPSNRが1 dB以上、SSIMが0.09以上向上した。