[論文レビュー] Limited-view Photoacoustic Imaging Reconstruction With Dual Domain Inputs Under Mutual Information Constraint

Jiadong Zhang, Hengrong Lan+4 more|arXiv (Cornell University)|Nov 12, 2020

Photoacoustic and Ultrasonic Imaging参考文献 14被引用数 4

ひとこと要約

本稿では、時間領域（DAS）および周波数領域（k-space）の光音響画像を併用することで、限られた視野における再構成を改善する情報共有ブロック（ISB）を備えた二重ドメインU-Net、DuDoUnetを提案する。事前学習済みの補助ネットワークを用いた相互情報量正則化を組み込むことで、事前知識の学習を強化し、臨床データベース上での構造的類似性（SSIM）93.56%、ピークノイズ比（PSNR）20.89 dBを達成し、最先端手法を上回る性能を発揮した。

ABSTRACT

Based on photoacoustic effect, photoacoustic tomography is developing very fast in recent years, and becoming an important imaging tool for both preclinical and clinical studies. With enough ultrasound transducers placed around the biological tissue, PAT can provide both deep penetration and high image contrast by hybrid usage of light and sound. However, considering space and measurement environmental limitations, transducers are always placed in a limited-angle way, which means that the other side without transducer coverage suffers severe information loss. With conventional image reconstruction algorithms, the limited-view tissue induces artifacts and information loss, which may cause doctors misdiagnosis or missed diagnosis. In order to solve limited-view PA imaging reconstruction problem, we propose to use both time domain and frequency domain reconstruction algorithms to get delay-and-sum (DAS) image inputs and k-space image inputs. These dual domain images share nearly same texture information but different artifact information, which can teach network how to distinguish these two kinds of information at input level. In this paper, we propose Dual Domain Unet (DuDoUnet) with specially designed Information Sharing Block (ISB), which can further share two domains' information and distinguish artifacts. Besides, we use mutual information (MI) with an auxiliary network, whose inputs and outputs are both ground truth, to compensate prior knowledge of limited-view PA inputs. The proposed method is verified with a public clinical database, and shows superior results with SSIM = 93.5622% and PSNR = 20.8859.

研究の動機と目的

• 不完全なトランスデューサー被覆による限られた視野光音響断層撮影（PAT）における深刻な画像アーチファクトおよび情報損失を是正すること。
• 時間領域（DAS）および周波数領域（k-space）の画像入力から得られる補完的情報を活用することで、再構成品質を向上させること。
• 二重ドメイン特徴の統合により、入力レベルで模様とアーチファクトを区別できるようにすることで、深層学習ベースの再構成を向上させること。
• 相互情報量を補助制約として組み込むことで、限られた視野に起因する情報損失を補償し、事前知識の学習を強化すること。

提案手法

• 提案されたDuDoUnetは、情報共有ブロック（ISB）を用い、DASおよびk-space画像を並列に処理し、両ドメインから低レベルの生の特徴量と高レベルの特徴量を抽出する。
• ISBは、DASおよびk-space入力を変換するためのFFTおよびIFFTを用い、ドメイン固有の特徴を保持しながら、ドメイン間の特徴共有を可能にする。
• ネットワークは、両ドメインからのマルチレベル特徴量を連結および畳み込み層を用いて統合し、模様とアーチファクトの区別を向上させる。
• 変動的相互情報量制約は、教師データを入力および出力として用いる事前学習済みの補助エンコーダ-デコーダーネットワークを介して適用され、コンactかつ情報豊富な潜在表現を学習する。
• 相互情報量損失は、学習可能な平均および分散を有する条件付きガウス分布を用いて定式化され、シグモイドベースの分散推定器により訓練の安定化が図られる。
• 全体の訓練目的は、再構成損失（MSE）と相互情報量正則化を組み合わせ、忠実性および事前知識の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 時間領域および周波数領域の二重ドメイン入力は、アーチファクトと模様の補完的情報を提供することで、限られた視野における光音響画像再構成を改善できるか？
• RQ2 DASおよびk-space画像を処理する際、情報共有ブロック（ISB）は特徴統合およびアーチファクトの区別をどのように向上させるか？
• RQ3 相互情報量正則化は、深層学習ベースのPAT再構成において、事前知識の学習をどの程度向上させるか？
• RQ4 提案手法は、限られた視野条件下での微細な血管構造の再構成において、既存のU-Netおよび二重エンコーダー・アーキテクチャを上回るか？
• RQ5 相互情報量制約は、データが少ないまたは視野が限られたイメージング状況において、訓練の安定化および一般化性能の向上を図れるか？

主な発見

• 相互情報量制約を施した提案されたDuDoUnetは、構造的類似性指数（SSIM）93.5622%を達成し、すべてのベースラインを顕著に上回った。
• ピークノイズ比（PSNR）20.8859 dBを達成し、他のモデルと比較して優れた再構成忠実性を示した。
• DuDoUnet+MIは、Unet#1（SSIM: 90.99、PSNR: 19.40）、Unet#2（SSIM: 91.46、PSNR: 19.77）、Ynet（SSIM: 87.25、PSNR: 17.82）、DEUnet（SSIM: 90.65、PSNR: 19.30）を上回った。
• 定性的な結果から、DuDoUnet+MIは微細な血管トポロジーを効果的に回復し、構造の連続性を保持していたのに対し、他の手法では断片的または誤った構造が生成された。
• アブレーションスタディの結果、二重ドメイン入力および相互情報量正則化の両方が、性能向上に顕著な寄与を示した。
• ISBにおけるFFTおよびIFFTの利用により、ドメイン固有の処理を追加せずに、効果的なドメイン間特徴学習が可能になった。