[논문 리뷰] Less is More: Simultaneous View Classification and Landmark Detection for Abdominal Ultrasound Images

Zhoubing Xu, Yuankai Huo외 5명|arXiv (Cornell University)|2018. 05. 25.

Radiomics and Machine Learning in Medical Imaging참고 문헌 11인용 수 7

한 줄 요약

이 논문은 단일 컨volution 신경망을 사용하여 복부 초음파 영상의 뷰 분류와 장기 랜드마크 검출을 동시에 수행하는 통합 다중 작업 딥러닝 프레임워크를 제안한다. 이는 전역 컨볼루션 커널, 좌표 제약 조건, 조건부 생성적 적대적 모듈을 활용한다. 187,219장의 이미지에서 평가한 결과, 뷰 분류 정확도는 전문가 간 일치 수준을 초월하고, 랜드마크 기반 측정 오차는 사용자 간 변동성과 유사한 수준을 기록하였다.

ABSTRACT

An abdominal ultrasound examination, which is the most common ultrasound examination, requires substantial manual efforts to acquire standard abdominal organ views, annotate the views in texts, and record clinically relevant organ measurements. Hence, automatic view classification and landmark detection of the organs can be instrumental to streamline the examination workflow. However, this is a challenging problem given not only the inherent difficulties from the ultrasound modality, e.g., low contrast and large variations, but also the heterogeneity across tasks, i.e., one classification task for all views, and then one landmark detection task for each relevant view. While convolutional neural networks (CNN) have demonstrated more promising outcomes on ultrasound image analytics than traditional machine learning approaches, it becomes impractical to deploy multiple networks (one for each task) due to the limited computational and memory resources on most existing ultrasound scanners. To overcome such limits, we propose a multi-task learning framework to handle all the tasks by a single network. This network is integrated to perform view classification and landmark detection simultaneously; it is also equipped with global convolutional kernels, coordinate constraints, and a conditional adversarial module to leverage the performances. In an experimental study based on 187,219 ultrasound images, with the proposed simplified approach we achieve (1) view classification accuracy better than the agreement between two clinical experts and (2) landmark-based measurement errors on par with inter-user variability. The multi-task approach also benefits from sharing the feature extraction during the training process across all tasks and, as a result, outperforms the approaches that address each task individually.

연구 동기 및 목표

• 수동 애너테이션과 측정 작업을 줄임으로써 복부 초음파 검사 워크플로우의 자동화 과제를 해결하기 위해.
• 초음파 스캐너에 여러 딥러닝 모델을 배포할 때 발생하는 계산 및 메모리 제약 조건을 극복하기 위해.
• 다양한 작업 간 공유 특징을 공동으로 학습시킴으로써 뷰 분류 및 랜드마크 검출 성능을 향상시키기 위해.
• 뷰 분류에서 임상 수준의 정확도를 달성하고, 인간 간 평가자 간 변동성과 유사한 측정 오차를 달성하기 위해.
• 개별 작업 전용 모델보다 우수한 성능을 보이는 경량 단일 네트워크 솔루션을 개발하기 위해.

제안 방법

• 단일 딥 네트워크를 사용하여 뷰 분류와 랜드마크 검출을 동시에 수행하는 다중 작업 학습 프레임워크를 설계하였다.
• 두 작업 모두에 대해 전체 이미지에 걸쳐 특징 표현을 향상시키기 위해 전역 컨볼루션 커널을 통합하였다.
• 해부학적으로 타당한 공간 위치를 보장하기 위해 랜드마크 예측을 정규화하기 위해 좌표 제약 조건을 적용하였다.
• 특징 분리 및 도메인 일반화를 향상시키기 위해 조건부 생성적 적대적 모듈을 도입하였다.
• 작업 간 공유 특징 추출을 통해 훈련 중 파라미터 효율성과 일반화 능력 향상을 달성하였다.
• 187,219장의 복부 초음파 영상로 구성된 대규모 데이터셋에서 모델를 엔드 투 엔드로 훈련하였다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크가 복부 초음파 영상에서 뷰 분류와 랜드마크 검출을 효과적으로 동시에 수행할 수 있는가?
• RQ2 이러한 이질적인 작업 간 공동 학습이 별도의 모델을 훈련시키는 것보다 성능 향상에 기여하는가?
• RQ3 제안된 아키텍처가 전문가 간 일치 수준을 초월하는 임상 수준의 뷰 분류 정확도를 달성할 수 있는가?
• RQ4 랜드마크 검출 오차는 인간 평가자 간 변동성 수준으로 감소시킬 수 있는가?
• RQ5 전역 컨볼루션 커널과 좌표 제약 조건의 사용이 국소화 및 분류 성능 향상에 기여하는가?

주요 결과

• 제안된 다중 작업 모델은 두 명의 임상 전문가 간 일치 수준을 초월하는 뷰 분류 정확도를 달성하였다.
• 랜드마크 기반 측정 오차는 방사선의사 간 관찰된 사용자 간 변동성과 유사한 수준이었다.
• 작업 간 공유 특징 학습 덕분에 개별 모델을 훈련시키는 것보다 일반화 능력과 성능 향상이 뛰어났다.
• 전역 컨볼루션 커널과 좌표 제약 조건의 통합은 국소화 정확도 향상과 모델의 강건성 향상에 크게 기여하였다.
• 조건부 생성적 적대적 모듈은 더 나은 특징 분리와 도전적인 케이스에서의 성능 향상에 기여하였다.
• 단일 네트워크 아키텍처는 자원 제약이 있는 초음파 스캐너에 배포하기에 적합한 계산 효율성을 보였다.