[論文レビュー] FREA-Unet: Frequency-aware U-net for Modality Transfer

Hajar Emami, Qiong Liu+1 more|arXiv (Cornell University)|Dec 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 10

ひとこと要約

本稿では、周波数に敏感なアテンション機構を用いて、MRIからの合成PET画像生成において低周波および高周波特徴を別々に最適化することで、FREA-Unetと呼ばれる周波数に敏感なU-Netアーキテクチャを提案する。このモデルは、ADNIデータセット上でMAEを46.26 ± 5.03まで低減し、PSNR（28.45 ± 2.01）とSSIM（0.87 ± 0.04）を向上させ、従来手法と比較してより鋭い解剖学的詳細と優れた構造保存性を実現し、最先端の性能を達成した。

ABSTRACT

While Positron emission tomography (PET) imaging has been widely used in diagnosis of number of diseases, it has costly acquisition process which involves radiation exposure to patients. However, magnetic resonance imaging (MRI) is a safer imaging modality that does not involve patient's exposure to radiation. Therefore, a need exists for an efficient and automated PET image generation from MRI data. In this paper, we propose a new frequency-aware attention U-net for generating synthetic PET images. Specifically, we incorporate attention mechanism into different U-net layers responsible for estimating low/high frequency scales of the image. Our frequency-aware attention Unet computes the attention scores for feature maps in low/high frequency layers and use it to help the model focus more on the most important regions, leading to more realistic output images. Experimental results on 30 subjects from Alzheimers Disease Neuroimaging Initiative (ADNI) dataset demonstrate good performance of the proposed model in PET image synthesis that achieved superior performance, both qualitative and quantitative, over current state-of-the-arts.

研究の動機と目的

• 神経疾患の診断におけるPET画像撮影の高コストおよび被曝線量の問題に対処すること。
• 非侵襲的MRIデータから合成PET画像を自動的かつ効率的に生成する手法を開発すること。
• 周波数特化の特徴学習とアテンション機構を活用することで、モodal変換における画像品質を向上させること。
• 合成PET生成の分野で、定量的指標と視覚的忠実度の両面で、既存の最先端モデルを上回ること。

提案手法

• モデルは、特徴マップの低周波および高周波成分を別々に最適化するための分岐構造を備えたU-Netアーキテクチャを採用する。
• 周波数に敏感なアテンションモジュールは、低周波および高周波層の特徴マップに対してアテンションスコアを計算し、重要領域を強調する。
• 低周波および高周波特徴は、それぞれ固有のアテンション重みを用いて独立して処理され、空間分解能と構造的詳細の向上が図られる。
• ネットワークは、実際のPET画像と生成されたPET画像のボクセル単位の差異を最小化する統合損失関数を用いて訓練される。
• アテンション機構は、PET画像生成に寄与する特徴の重要度に応じて、動的に重要度を割り当てる。
• アブレーションスタディにより、周波数特化最適化とアテンション重み付けの両方が性能向上に寄与していることが検証された。

実験結果

リサーチクエスチョン

• RQ1 標準的なU-Netと比較して、低周波および高周波特徴の学習を分離することで、合成PET画像の品質が向上するか？
• RQ2 周波数特化ブランチにアテンション機構を統合することで、生成されたPET画像における解剖学的構造の保存性が向上するか？
• RQ3 周波数に敏感な最適化とアテンションを組み合わせることで、MAEが低く、PSNR/SSIMが高いといった定量的性能が、既存の最先端手法を上回るか？
• RQ4 提案手法は、合成PET出力におけるアーティファクトをどれほど低減し、空間分解能を向上させるか？

主な発見

• FREA-Unetは、比較対象の全モデルの中で最小の平均絶対誤差（MAE）46.26 ± 5.03を達成し、U-Net（52.56 ± 6.71）やpix2pix（59.19 ± 7.89）を顕著に上回った。
• PSNRは28.45 ± 2.01を達成し、全手法の中で最高水準であり、再構成忠実度の優位性を示した。
• SSIM値は0.87 ± 0.04に達し、他のモデルと比較して、実際のPET画像との構造的類似性が向上していることを示した。
• 定性的な結果では、FREA-Unetがより鋭い境界と、特に高解像度領域における良好に保持された解剖学的詳細を生成していることが確認された。
• アブレーションスタディにより、周波数特化最適化とアテンション機構の両方が不可欠であることが確認され、いずれかを除去すると性能が低下した。
• 定量的指標と視覚的品質の両面で、U-Net、UcGAN、pix2pixを上回ったことから、モダリティ変換分野における本手法の有効性が確認された。