[논문 리뷰] Deep learning for photoacoustic imaging: a survey

Changchun Yang, Hengrong Lan외 2명|arXiv (Cornell University)|2020. 08. 10.

Photoacoustic and Ultrasonic Imaging참고 문헌 130인용 수 16

한 줄 요약

이 종합 검토는 사진음향 영상에서 딥러닝의 응용을 다루며, 영상 복원부터 질병 진단에 이르기까지 기술을 포함한다. 이 논문은 딥러닝의 기본 개념을 제시하고, 영상 처리 전반에 걸친 최신 기술 발전을 검토하며, 분야의 연구자들을 위한 오픈소스 자원을 제공한다.

ABSTRACT

Machine learning has been developed dramatically and witnessed a lot of applications in various fields over the past few years. This boom originated in 2009, when a new model emerged, that is, the deep artificial neural network, which began to surpass other established mature models on some important benchmarks. Later, it was widely used in academia and industry. Ranging from image analysis to natural language processing, it fully exerted its magic and now become the state-of-the-art machine learning models. Deep neural networks have great potential in medical imaging technology, medical data analysis, medical diagnosis and other healthcare issues, and is promoted in both pre-clinical and even clinical stages. In this review, we performed an overview of some new developments and challenges in the application of machine learning to medical image analysis, with a special focus on deep learning in photoacoustic imaging. The aim of this review is threefold: (i) introducing deep learning with some important basics, (ii) reviewing recent works that apply deep learning in the entire ecological chain of photoacoustic imaging, from image reconstruction to disease diagnosis, (iii) providing some open source materials and other resources for researchers interested in applying deep learning to photoacoustic imaging.

연구 동기 및 목표

• 사진음향 영상 전반에 걸친 딥러닝 응용에 대한 포괄적인 개요를 제공하는 것.
• 의료 영상 및 사진음향 응용에 관련된 핵심 딥러닝 기본 원리를 소개하는 것.
• 사진음향 영상 복원, 분할 및 질병 진단을 위한 딥러닝 분야의 최신 연구 성과를 검토하는 것.
• 딥러닝을 위한 사진음향 영상 연구를 가속화하기 위해 오픈소스 도구, 데이터셋 및 코드를 정리하고 공유하는 것.
• 임상 사진음향 영상 워크플로우에 딥러닝을 통합하는 데 있어 현재의 과제와 향후 연구 방향을 규명하는 것.

제안 방법

• 사진음향 영상에 적용된 딥러닝 기법, 특히 컨볼루션 신경망(CNNs), U-Net 아키텍처 및 생성 모델 등을 체계적으로 조사한다.
• 데이터 수집, 영상 복원, 분할 및 진단을 포함한 사진음향 영상 전 과정에 걸친 딥러닝 방법을 분류하고 분석한다.
• U-Net과 같은 최신 모델을 복원에, 질병 탐지에 적합한 분류 네트워크를 검토한다.
• 사진음향 영상에서 주로 사용되는 주요 네트워크 설계 및 학습 전략을 강조한다. 이는 엔드 투 엔드 학습 및 데이터 증강 기법을 포함한다.
• 딥러닝 모델의 성능을 전통적 방법과 비교하여 영상 품질, 처리 속도 및 정확도 측면에서 분석한다.
• 재현 가능성을 높이고 향후 연구를 지원하기 위해 오픈소스 코드 저장소, 데이터셋 및 사전 학습된 모델의 정리된 목록을 제공한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 복소음향 단층촬영에서 딥러닝은 영상 복원을 어떻게 향상시킬 수 있는가?
• RQ2 사진음향 영상에서 해부학적 구조를 분할하거나 병변을 탐지하는 데 가장 효과적인 딥러닝 아키텍처는 무엇인가?
• RQ3 딥러닝 모델은 사진음향 기반 질병 진단의 정확도와 강건성에 어떻게 기여하는가?
• RQ4 임상 사진음향 영상 환경에서 딥러닝 모델을 구현하는 데 있어 주요 과제는 무엇인가?
• RQ5 오픈소스 도구와 공유 자원은 어떻게 사진음향 영상의 딥러닝 혁신을 가속화할 수 있는가?

주요 결과

• 특히 U-Net 및 그 변종은 사진음향 영상에서 영상 복원 품질을 크게 향상시키고 잡음과 잔상(artifacts)을 줄이는 데 기여한다.
• 엔드 투 엔드 딥러닝 접근 방식은 속도와 정확도 측면에서 기존 반복적 복원 방법을 뛰어넘는 성능을 보인다.
• 컨볼루션 신경망은 사진음향 데이터에서 혈관 분할 및 조기 암 병변 탐지에 높은 성능을 달성한다.
• GAN과 같은 생성 모델은 데이터 증강 및 합성 사진음향 영상 생성 분야에서 잠재력을 보여준다.
• 딥러닝과 사진음향 영상의 융합은 더 빠르고 정확하며 더 강건한 진단 워크플로우를 가능하게 한다.
• 오픈소스 도구 및 코드 저장소의 가용성은 분야 내 연구를 가속화하고 재현 가능성을 향상시켰다.