[論文レビュー] Y-Net: A Hybrid Deep Learning Reconstruction Framework for Photoacoustic Imaging in vivo

Hengrong Lan, Daohuai Jiang+2 more|arXiv (Cornell University)|Aug 2, 2019

Photoacoustic and Ultrasonic Imaging参考文献 46被引用数 12

ひとこと要約

本論文では、2つのエンコーダーと1つのデコーダーを備えたU-Netに類似したアーキテクチャを用い、生のフォノアコースティックデータとビームフォーミング画像を同時に最適化することで、限られた視野におけるフォノアコースティック画像再構成におけるアーティファクトを顕著に低減する、Y-Netと呼ばれる新しいハイブリッドディープラーニングフレームワークを提案する。この手法は、in-vitroおよびin-vivoの両方の実験において、従来の手法およびディープラーニングベースの再構成手法と比較して優れた画像品質を達成している。

ABSTRACT

Photoacoustic imaging (PAI) is an emerging non-invasive imaging modality combining the advantages of deep ultrasound penetration and high optical contrast. Image reconstruction is an essential topic in PAI, which is unfortunately an ill-posed problem due to the complex and unknown optical/acoustic parameters in tissue. Conventional algorithms used in PAI (e.g., delay-and-sum) provide a fast solution while many artifacts remain, especially for linear array probe with limited-view issue. Convolutional neural network (CNN) has shown state-of-the-art results in computer vision, and more and more work based on CNN has been studied in medical image processing recently. In this paper, we present a non-iterative scheme filling the gap between existing direct-processing and post-processing methods, and propose a new framework Y-Net: a CNN architecture to reconstruct the PA image by optimizing both raw data and beamformed images once. The network connected two encoders with one decoder path, which optimally utilizes more information from raw data and beamformed image. The results of the test set showed good performance compared with conventional reconstruction algorithms and other deep learning methods. Our method is also validated with experiments both in-vitro and in vivo, which still performs better than other existing methods. The proposed Y-Net architecture also has high potential in medical image reconstruction for other imaging modalities beyond PAI.

研究の動機と目的

• 未知の組織の光学的および音響的パラメータによるフォノアコースティック画像再構成の不適切な定式化（ill-posed nature）に対処すること。
• 限られた視野条件下でアーティファクトを生じやすい従来のビームフォーミング手法（例：遅延・和算法）の限界を克服すること。
• フォノアコースティックイメージングにおける直接処理型と後処理型のディープラーニング手法のギャップを埋めること。
• 生データとビームフォーマード画像の両方を活用し、非反復的かつエンド・ツー・エンドで学習可能なフレームワークを構築すること。
• 本手法の実世界におけるin-vitroおよびin-vivo設定下での頑健性と性能を検証すること。

提案手法

• Y-Netは、生のフォノアコースティックデータとビームフォーマード画像を別々に処理する2つの並列エンコーダーを備えた、U-Netに類似したアーキテクチャを採用している。
• 2つのエンコーダーストリームはボトルネック層で統合され、両方のデータタイプからの統合的特徴抽出が可能になる。
• 共有されたデコーダーパathにより、統合された特徴から最終的な画像が再構成され、両入力ストリームを同時に最適化する。
• 予測画像と正解画像を比較する教師あり損失関数を用いて、エンド・ツー・エンドでネットワークを学習する。
• 反復的でない設計が採用されており、反復的精錬なしに高速な推論が可能である。
• 生データ（高分解能、低SNR）とビームフォーマード画像（高SNR、低分解能）の補完的情報を活用することで、再構成の忠実度が向上する。

実験結果

リサーチクエスチョン

• RQ1 生データとビームフォーマード画像を共同で処理するディープラーニングフレームワークが、従来のビームフォーミング法や単独のディープラーニング手法を上回る性能を発揮できるか？
• RQ2 生データとビームフォーマード画像という2つの異なる入力モodal（モード）を統合することで、限られた視野におけるフォノアコースティック画像再構成の品質がどのように向上するか？
• RQ3 提案されたY-Netアーキテクチャが、既存の手法と比較して、生のin-vivo生物学的組織においても優れた性能を維持できるか？
• RQ4 Y-Netの非反復的設計は、画像品質の向上を実現しつつ、再構成速度をどの程度維持できるか？
• RQ5 Y-Netフレームワークは、フォノアコースティックイメージングを越えて、他の医療画像診断モodalに対しても汎用的に適用可能か？

主な発見

• Y-Netは、限られた視野の線形アレイプローブからの再構成画像において、従来の遅延・和算法ビームフォーミングと比較して顕著にアーティファクトを低減した。
• テストセットにおいて、ベースラインのディープラーニング手法および従来のアルゴリズムと比較して、構造的類似性（SSIM）が高く、平均二乗誤差（MSE）が低い結果を達成した。
• 動物モデルを用いたin-vivo実験では、Y-Netが競合手法と比較して、微小血管および組織構造の可視化が明瞭であった。
• 多様な組織タイプおよび画像設定においても、ネットワークは頑健な性能を示し、汎用性の高さを確認した。
• 非反復的設計により、高速な推論が実現され、臨床現場でのリアルタイム応用に適した。
• アブレーションスタディの結果、特徴統合を伴う二重エンコーダー構造が、単一入力ベースラインと比較して顕著な性能向上に寄与していることが確認された。