[논문 리뷰] Automatic quality assessment for 2D fetal sonographic standard plane based on multi-task learning

Hong Luo, Han Liu외 2명|arXiv (Cornell University)|2019. 12. 11.

Fetal and Pediatric Neurological Disorders참고 문헌 21인용 수 8

한 줄 요약

이 논문은 3개의 합성곱 신경망—특징 추출 네트워크, 영역 제안 네트워크, 클래스 예측 네트워크—를 사용하는 다중 작업 학습 프레임워크를 제안하여 2차원 태반 초음파 표준 평면의 품질을 자동으로 평가한다. 이 방법은 이미지당 1초 미만의 시간에 전문가 수준의 정확도로 필수 해부학적 구조를 탐지하여 숙련된 초음파 검사사에 대한 의존도를 크게 감소시키고, 자원이 제한된 환경에서 확장 가능하고 객관적인 품질 관리가 가능하게 한다.

ABSTRACT

The quality control of fetal sonographic (FS) images is essential for the correct biometric measurements and fetal anomaly diagnosis. However, quality control requires professional sonographers to perform and is often labor-intensive. To solve this problem, we propose an automatic image quality assessment scheme based on multi-task learning to assist in FS image quality control. An essential criterion for FS image quality control is that all the essential anatomical structures in the section should appear full and remarkable with a clear boundary. Therefore, our scheme aims to identify those essential anatomical structures to judge whether an FS image is the standard image, which is achieved by three convolutional neural networks. The Feature Extraction Network aims to extract deep level features of FS images. Based on the extracted features, the Class Prediction Network determines whether the structure meets the standard and Region Proposal Network identifies its position. The scheme has been applied to three types of fetal sections, which are the head, abdominal, and heart. The experimental results show that our method can make a quality assessment of an FS image within less a second. Also, our method achieves competitive performance in both the detection and classification compared with state-of-the-art methods.

연구 동기 및 목표

• 표준 평면 준수 여부 평가의 주관성과 노동 강도를 줄이기 위해 2차원 태반 초음파 영상 품질 평가를 자동화한다.
• 이미지 노이즈, 그림자 효과, 저해상도 구조, 태반의 움직임 등 정확한 탐지 및 분류를 방해하는 과제를 해결한다.
• 두개의 주요 태반 부위(두개부, 복부, 심장)에서 필수 해부학적 구조를 식별하는 강건하고 빠르며 일반화 가능한 방법을 개발한다.
• 숙련된 초음파 검사사가 부족한 지역에 배포 가능한 정확하고 객관적이며 효율적인 품질 평가를 가능하게 한다.
• 통합된 다중 작업 학습 아키텍처에서 특징 추출, 영역 제안, 분류 네트워크를 통합하여 탐지 및 분류 성능을 향상시킨다.

제안 방법

• 특징 추출 네트워크(FEN)는 2차원 태반 초음파 영상에서 깊은 수준의 표현을 학습한다.
• 영역 제안 네트워크(RPN)는 추출된 특징을 바탕으로 필수 해부학적 구조를 포함한 후보 영역(ROIs)을 식별한다.
• 클래스 예측 네트워크(CPN)는 동일한 특징 맵을 사용하여 탐지된 구조가 표준 평면 기준을 충족하는지 분류한다.
• 관계 모듈은 전체 이미지와 개별적으로 탐지된 구조 간의 관계를 모델링하여 특징 학습을 향상시킨다.
• 다중 작업 학습을 활용하여 탐지 및 분류를 동시에 최적화함으로써 정확도와 추론 속도를 향상시킨다.
• 저대비, 노이즈, 기울어진 태반 초음파 영상에서의 성능 향상을 위해 고급 객체 탐지 기법을 적응 및 수정한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 다중 작업 프레임워크는 2차원 초음파 영상에서 두개부, 복부, 심장 부위의 다수 태반 부위에서 필수 해부학적 구조를 높은 정확도로 탐지할 수 있는가?
• RQ2 제안된 다중 작업 학습 아키텍처는 태반 표준 평면 평가에서 탐지 및 분류 성능 측면에서 최신 기술에 비해 어떻게 비교되는가?
• RQ3 이 제안된 방법은 태반 초음파 검사의 품질 관리에 소요되는 시간과 전문 지식을 어느 정도 줄일 수 있는가?
• RQ4 이 방법은 이미지 노이즈, 그림자 효과, 유사한 해부학적 구조, 태반의 움직임 등의 과제에 대해 얼마나 강건한가?
• RQ5 이 프레임워크는 다양한 초음파 스캐너 간에 일반화 가능한가? 그리고 교차 스캐너 적용 가능성에 대한 제약은 무엇인가?

주요 결과

• 제안된 방법은 탐지 및 분류 작업 모두에서 경쟁적인 성능를 보이며, 제후이린의 프레임워크와 같은 최신 기술을 능가한다.
• 시스템은 단일 2차원 태반 초음파 영상의 평가를 1초 미만으로 수행하여 초음파 검사사의 수작업 평가보다 훨씬 빠르다.
• 탐지 및 분류 결과는 전문 초음파 검사사의 결과와 매우 일치하여 강력한 신뢰성과 객관성을 입증한다.
• 관계 모듈과 다중 작업 학습 아키텍처의 통합은 특징 표현을 향상시키고 탐지 정확도를 향상시킨다.
• 이 방법은 두개부, 복부, 심장 부위에서 높은 성능를 유지하여 표준 평면 평가 범위 내에서 일반화 능력을 입증한다.
• 높은 정확도에도 불구하고 엄격한 평가 기준으로 인해 일부 오류가 존재하며, 특히 부분적으로만 노출된 구조(예: 구조의 중앙부)에서는 이러한 오류가 더 두드러진다.