[論文レビュー] Perception Consistency Ultrasound Image Super-resolution via Self-supervised CycleGAN

Heng Liu, Jianyong Liu+3 more|arXiv (Cornell University)|Dec 28, 2020

Advanced Image Processing Techniques参考文献 31被引用数 10

ひとこと要約

本論文は、自己教師付きCycleGANフレームワークを提案し、低解像度（LR）→高解像度（SR）→低解像度（LR）および高解像度（HR）→低解像度（LR）→高解像度（SR）の双方向サイクルを用いて、再構築された低解像度画像が元の入力と一致することを保証することで、認識的一致性を強制する。この手法は、CCA-USおよびUS-CASEデータセットにおいて、PSNR、IFC、SSIM、推論速度の面で最先端の性能を達成しており、従来手法と比較して視覚的品質が向上し、アーチファクトが低減されている。

ABSTRACT

Due to the limitations of sensors, the transmission medium and the intrinsic properties of ultrasound, the quality of ultrasound imaging is always not ideal, especially its low spatial resolution. To remedy this situation, deep learning networks have been recently developed for ultrasound image super-resolution (SR) because of the powerful approximation capability. However, most current supervised SR methods are not suitable for ultrasound medical images because the medical image samples are always rare, and usually, there are no low-resolution (LR) and high-resolution (HR) training pairs in reality. In this work, based on self-supervision and cycle generative adversarial network (CycleGAN), we propose a new perception consistency ultrasound image super-resolution (SR) method, which only requires the LR ultrasound data and can ensure the re-degenerated image of the generated SR one to be consistent with the original LR image, and vice versa. We first generate the HR fathers and the LR sons of the test ultrasound LR image through image enhancement, and then make full use of the cycle loss of LR-SR-LR and HR-LR-SR and the adversarial characteristics of the discriminator to promote the generator to produce better perceptually consistent SR results. The evaluation of PSNR/IFC/SSIM, inference efficiency and visual effects under the benchmark CCA-US and CCA-US datasets illustrate our proposed approach is effective and superior to other state-of-the-art methods.

研究の動機と目的

• 医療画像分野における、ペア化された低解像度（LR）および高解像度（HR）の訓練データの不足に対処すること。
• LRとSR画像間のサイクル一貫性を強制することで、スーパーエンリッチメント結果における認識的一致性を向上させること。
• ペア化された訓練データを必要としない軽量で自己教師付きフレームワークの開発。
• 高い再構成精度を維持しながら、超音波SRにおける視覚的品質の向上とアーチファクトの低減。
• 既存手法と比較して、客観的指標および推論効率の両面で優れた性能を達成すること。

提案手法

• ラベルなしの超音波画像から合成されたLR-HRペアを生成する自己教師付き学習戦略を採用。
• 低解像度入力を高解像度出力にスーパーエンリッチングするための深層マルチスケールエンコーダ・デコーダネットワークを採用。
• 生成されたSR画像を再び低解像度に退化させるために、ランダムノイズ入力を備えた特化したCNNを導入し、LR→SR→LRのサイクルをシミュレート。
• 逆方向のネットワーク構造を適用して、HR→LR→SRのサイクルをシミュレートし、双方向的一致性を実現。
• ピクセル単位の損失、認識的特徴損失、 adversarial 損失、およびサイクル一貫性損失を組み合わせ、ジェネレータを最適化。
• サイクル一貫性損失を活用して、再構築画像における分布シフトとアーチファクトの低減を実現。

実験結果

リサーチクエスチョン

• RQ1 ペア化されたLR-HR訓練データを必要としない自己教師付きCycleGANフレームワークは、高品質な超音波画像のスーパーエンリッチメントを達成できるか？
• RQ2 サイクル一貫性は、LR→SR→LRおよびHR→LR→SR変換の間で認識的忠実性を保つのにどの程度効果的か？
• RQ3 敵対的損失、認識的損失、およびサイクル一貫性損失を組み合わせることで、超音波画像におけるSR性能にどのような影響を与えるか？
• RQ4 視覚的品質および客観的指標の観点から、本手法は教師ありおよびゼロショット学習手法と比較してどの程度優れているか？
• RQ5 最先端の性能を達成しつつ、高い推論効率を維持できるか？

主な発見

• 本手法はCCA-USデータセットにおいてPSNR 34.900、IFC 2.317を達成し、比較されたすべての手法を上回った。
• アーチファクトとノイズが低減され、とくにZSSRで一般的に見られる穴のような構造を回避し、より診断に信頼性のある結果をもたらした。
• 推論速度は、比較されたすべての手法の中で最も高く、臨床現場への導入に向けた高い効率性とスケーラビリティを示している。
• アブレーションスタディにより、サイクル一貫性損失が最も重要な要因であることが確認され、GANのみまたはサイクルのみのベースラインと比較して顕著な性能向上が得られた。
• ピクセル単位の損失、認識的損失、敵対的損失、およびサイクル一貫性損失の4つの損失を組み合わせた場合、再構成精度と視覚的品質が最良の結果をもたらした。
• モデルは軽量であり、SRCNNよりもわずかに高い容量であるため、リアルタイムの臨床応用に適している。