[論文レビュー] Deep learning for photoacoustic imaging: a survey

Changchun Yang, Hengrong Lan+2 more|arXiv (Cornell University)|Aug 10, 2020

Photoacoustic and Ultrasonic Imaging参考文献 130被引用数 16

ひとこと要約

本サーベイは、画像再構成から疾患診断に至るまで、深層学習のフォトエレクトリックイメージングへの応用をレビューする。基礎的な深層学習の概念を提示し、画像処理パイプライン全体にわたる最新の進展をレビューし、分野の研究者に向けたオープンソースリソースを提供する。

ABSTRACT

Machine learning has been developed dramatically and witnessed a lot of applications in various fields over the past few years. This boom originated in 2009, when a new model emerged, that is, the deep artificial neural network, which began to surpass other established mature models on some important benchmarks. Later, it was widely used in academia and industry. Ranging from image analysis to natural language processing, it fully exerted its magic and now become the state-of-the-art machine learning models. Deep neural networks have great potential in medical imaging technology, medical data analysis, medical diagnosis and other healthcare issues, and is promoted in both pre-clinical and even clinical stages. In this review, we performed an overview of some new developments and challenges in the application of machine learning to medical image analysis, with a special focus on deep learning in photoacoustic imaging. The aim of this review is threefold: (i) introducing deep learning with some important basics, (ii) reviewing recent works that apply deep learning in the entire ecological chain of photoacoustic imaging, from image reconstruction to disease diagnosis, (iii) providing some open source materials and other resources for researchers interested in applying deep learning to photoacoustic imaging.

研究の動機と目的

• フォトエレクトリックイメージングにおける深層学習の応用を、画像処理パイプライン全体にわたって包括的に概説すること。
• 医療イメージングおよびフォトエレクトリック応用に特に関連する重要な深層学習の基礎を紹介すること。
• フォトエレクトリック画像再構成、セグメンテーション、疾患診断における深層学習の最新の研究進展をレビューすること。
• 研究を促進するため、オープンソースのツール、データセット、コードを収集・共有すること。
• 臨床的フォトエレクトリックイメージングワークフローへの深層学習統合における現在の課題と今後の研究方向性を特定すること。

提案手法

• 畳み込みニューラルネットワーク（CNNs）、U-Netアーキテクチャ、生成モデルを含む、フォトエレクトリックイメージングに応用された深層学習技術を体系的にサーベイする。
• データ取得、画像再構成、セグメンテーション、診断を含む、フォトエレクトリックイメージングの全プロセスにわたる深層学習手法を分類・分析する。
• U-Netを用いた画像再構成や病変検出のための分類ネットワークなど、最先端のモデルをレビューする。
• エンドツーエンド学習やデータオーグメンテーション技術を含む、フォトエレクトリックイメージングで用いられる主要なネットワーク設計およびトレーニング戦略を強調する。
• 画像品質、速度、正確性の観点で、深層学習モデルと従来の手法を比較する。
• 再現可能性およびさらなる研究を促進するため、オープンソースのコードリポジトリ、データセット、事前学習済みモデルのリストを整理して提供する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法と比較して、深層学習はフォトエレクトリックトモグラフィーにおける画像再構成をどのように改善できるか？
• RQ2 フォトエレクトリック画像における解剖的構造のセグメンテーションや病変の検出に、最も効果的な深層学習アーキテクチャは何か？
• RQ3 深層学習モデルは、フォトエレクトリックベースの疾患診断の正確性と頑健性をどのように向上させるか？
• RQ4 臨床的フォトエレクトリックイメージング環境への深層学習モデルの導入における主な課題は何か？
• RQ5 オープンソースツールや共有リソースは、フォトエレクトリックイメージングにおける深層学習のイノベーションをどのように加速できるか？

主な発見

• 特にU-Netおよびその変種は、フォトエレクトリックイメージングにおける画像再構成品質を著しく向上させ、アーティファクトを低減する。
• エンドツーエンドの深層学習アプローチは、速度と正確性の両面で、従来の反復的再構成手法を上回る。
• 畳み込みニューラルネットワークは、フォトエレクトリックデータにおける血管のセグメンテーションおよび早期腫瘍の検出において高い性能を発揮する。
• GANなどの生成モデルは、データオーグメンテーションおよび合成フォトエレクトリック画像生成において有望な成果を示している。
• 深層学習とフォトエレクトリックイメージングの統合により、より高速で正確かつ頑健な診断ワークフローが実現可能になった。
• オープンソースツールおよびコードリポジトリの可用性のおかげで、分野における研究が加速され、再現性が向上した。