[論文レビュー] Duke PAM Dataset

Anthony DiSpirito, Daiwei Li+6 more|arXiv (Cornell University)|May 30, 2020

Photoacoustic and Ultrasonic Imaging参考文献 19被引用数 15

ひとこと要約

本論文は、画像速度と空間分解能のトレードオフを克服するために、完全に密なU-Net（FD U-Net）を用いた深層学習ベースの手法を提案する。このモデルは、元のピクセルのわずか2%のデータからも高忠実度の再構成を達成し、画像取得時間を顕著に短縮しながら画像品質を維持する。

ABSTRACT

Duke PAM is a photoacoustic microscopy (PAM) dataset collected at Duke University with the optical resolution PAM system described in (M. Chen et al., "Simultaneous photoacoustic imaging of intravascular and tissue oxygenation," <em>Optics Letters</em>, vol. 44, no. 15, pp. 3773-3776, 2019.) at a wavelength of 532 nm. This dataset is composed of primarily mouse brain microvasculature images, with a few images of mouse ear and tumors. Although collected in 3-D, for the purposes of viewing, collection, and storage, the images have been projected into 2-D using maximum amplitude projection (MAP). These data were collected with support from the National Institutes of Health (R01 EB028143, R01 NS111039, R01 NS115581, R21 EB027304, R43 CA243822, R43 CA239830, R44 HL138185); Duke MEDx Basic Science Grant; Duke Center for Genomic and Computational Biology Faculty Research Grant; Duke Institute of Brain Science Incubator Award; American Heart Association Collaborative Sciences Award (18CSA34080277). The "clean" subset contains PAM images of variable size that have been preprocessed and stored as uint8 .jpg images. The "patches" subset contains non-overlapping 128-by-128 pixel patches of the "clean" images stored as uint8 .jpg images. The "raw" subset contains PAM images of variable size before they have been preprocessed (stored as uint16 .png images). For general deep learning tasks, the "clean" dataset can be used with random crop (none of the images have dimensions less than 128-by-128). If uniformly-sized images are desired without needing to use random crop, the "patches" subset would work best. The "raw" subset works best for deep learning tasks that expect input images that are closer to raw/unprocessed PAM images and are willing to take on the memory burden of loading uint16 .png images.

研究の動機と目的

• 光超音波顕微鏡（PAM）における空間分解能と画像取得速度のトレードオフを克服すること。
• 極めてアンダーサンプリングされたデータから高品質なPAM画像を再構成できる深層学習モデルの開発。
• 実際の画像取得制約を模擬するため、さまざまなアンダーサンプリングレベルにおけるモデルのロバストネスの評価。
• マウス脳血管の完全にサンプリングされたPAM画像を人工的にダウンサンプリングすることで、再構成性能のゴールドスタンダードを確立すること。

提案手法

• マウス脳血管の完全にサンプリングされたPAM画像を、複数の比率で人工的にダウンサンプリングし、アンダーサンプリング状態を模擬。
• 複数の畳み込みニューラルネットワーク（CNN）アーキテクチャを訓練・評価し、最適な性能を示した完全に密なU-Net（FD U-Net）を採用。
• FD U-Netアーキテクチャを用いて、低解像度でアンダーサンプリングされたPAM入力から高解像度の再構成出力へのマッピングを学習。
• 元の完全にサンプリングされた画像からのゴールドスタンダードを用いて、合成されたアンダーサンプリングデータ上でモデルをエンドツーエンドに訓練。
• 未知のアンダーサンプリングデータに対して推論を実施し、さまざまなサンプリング比率における再構成忠実度を評価。
• 数値指標と視覚的分析を用いて、画像品質の保持を定量化するための性能評価。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、元のピクセルデータのわずか2%の情報からも、光超音波顕微鏡画像を効果的に再構成できるか？
• RQ2 FD U-Netの性能は、他のCNNアーキテクチャ（標準U-Netや残差ネットワークなど）と比較して、アンダーサンプリングされたPAM画像の再構成においてどのように差をつけるか？
• RQ3 極端なアンダーサンプリング下でも、提案手法が画像品質と構造的忠実度をどの程度維持できるか？
• RQ4 さまざまな画像取得条件下での異なるアンダーサンプリングレベルに対して、モデルのロバストネスはどの程度か？

主な発見

• FD U-Netモデルは、元のピクセルのわずか2%のデータからも、優れた再構成品質を達成し、顕著なデータ効率性を示した。
• 極めて高いアンダーサンプリング比率下でも、再構成画像における構造的・テクスチャ的忠実度が保持された。
• 数値解析により、複数のサンプリングレベルで一貫した性能が確認され、画像品質の劣化は最小限に抑えられた。
• 視覚的および定量的指標の両方において、標準U-Netや残差ネットワークを含む他のテスト済みCNNアーキテクチャと比較して、FD U-Netが優れた性能を示した。
• 本手法により、画像取得時間を最大50倍短縮可能であり、分解能や診断的品質の著しい損失なしに実現可能である。