[논문 리뷰] Fast and accurate classification of echocardiograms using deep learning

Ali Madani, Ramy Arnaout외 2명|arXiv (Cornell University)|2017. 06. 27.

Cardiac Imaging and Diagnostics참고 문헌 9인용 수 16

한 줄 요약

이 논문은 834,267건의 익명화된 영상에서 15개의 표준 심장초음파 영상 보기(views)를 분류하기 위해 다층 컨볼루션 신경망을 사용하는 딥러닝 접근법을 제안한다. 모델은 단일 저해상도 영상에서 91.7%의 정확도를 기록했으며, 영상 클립에서는 97.8%의 정확도를 달성하여 자격을 갖춘 심장초음파 전문의를 능가하며, 자동화된 보기 인식에서 높은 정확도와 임상적 관련성을 입증한다.

ABSTRACT

Echocardiography is essential to modern cardiology. However, human interpretation limits high throughput analysis, limiting echocardiography from reaching its full clinical and research potential for precision medicine. Deep learning is a cutting-edge machine-learning technique that has been useful in analyzing medical images but has not yet been widely applied to echocardiography, partly due to the complexity of echocardiograms' multi view, multi modality format. The essential first step toward comprehensive computer assisted echocardiographic interpretation is determining whether computers can learn to recognize standard views. To this end, we anonymized 834,267 transthoracic echocardiogram (TTE) images from 267 patients (20 to 96 years, 51 percent female, 26 percent obese) seen between 2000 and 2017 and labeled them according to standard views. Images covered a range of real world clinical variation. We built a multilayer convolutional neural network and used supervised learning to simultaneously classify 15 standard views. Eighty percent of data used was randomly chosen for training and 20 percent reserved for validation and testing on never seen echocardiograms. Using multiple images from each clip, the model classified among 12 video views with 97.8 percent overall test accuracy without overfitting. Even on single low resolution images, test accuracy among 15 views was 91.7 percent versus 70.2 to 83.5 percent for board-certified echocardiographers. Confusional matrices, occlusion experiments, and saliency mapping showed that the model finds recognizable similarities among related views and classifies using clinically relevant image features. In conclusion, deep neural networks can classify essential echocardiographic views simultaneously and with high accuracy. Our results provide a foundation for more complex deep learning assisted echocardiographic interpretation.

연구 동기 및 목표

• 실제 임상 영상에서 표준 심장초음파 보기들을 정확하게 식별할 수 있는 딥러닝 시스템을 개발하는 것.
• 인간 해석의 한계로 인한 고속도 심장초음파 검사의 제약을 극복하는 것.
• 나이, 성별, 체형에 따라 다양하게 변하는 실제 임상 심장초음파 데이터에서 모델 성능을 검증하는 것.
• 딥러닝이 임상적으로 유의미한 영상 특징을 탐지할 수 있음을 입증하는 것.
• 정밀의료에서 자동화되고 확장 가능한 심장초음파 해석의 기반을 마련하는 것.

제안 방법

• 834,267건의 익명화된 흉부심장초음파(TTE) 영상에서 267명의 환자로부터 수집한 데이터를 사용하여 지도학습 기반으로 다층 컨볼루션 신경망을 훈련시켰다.
• 표준 심장초음파 보기 기준으로 영상에 레이블을 부여하였으며, 연령, 성별, 비만 상태에 따른 임상적 변동성을 반영하였다.
• 데이터의 80%는 훈련에 사용되었고, 나머지 20%는 검증 및 테스트용으로 미리 보지 않은 연구에 대해 확보되었다.
• 모델은 클립당 다수의 영상을 처리하여 12개의 영상 보기에서 높은 정확도로 분류하였다.
• 오클루전 실험과 시각화 맵을 통해 모델의 결정을 해석하고 임상적으로 관련 있는 특징에 의존하는지 확인하였다.
• 모델은 단일 저해상도 영상과 다중 프레임 영상 클립을 모두 대상으로 평가하여 내성적 안정성과 탄력성을 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 실제 임상 영상에서 표준 심장초음파 보기들을 정확하게 분류할 수 있는가?
• RQ2 단일 영상 분류에서 모델의 성능은 자격을 갖춘 심장초음파 전문의와 비교해 어떻게 되는가?
• RQ3 심장초음파 보기 분류 시 모델이 임상적으로 관련 있는 영상 특징에 얼마나 의존하는가?
• RQ4 단일 딥러닝 모델이 동시에 높은 정확도로 다수의 표준 심장초음파 보기들을 분류할 수 있는가?
• RQ5 모델은 다양한 환자 인구 통계 및 영상 품질에 걸쳐 과적합 없이 일반화되는가?

주요 결과

• 클립당 다수의 영상을 사용하여 12개의 영상 보기 분류에서 모델은 전체 테스트 정확도 97.8%를 기록하였다.
• 단일 저해상도 영상에서 모델은 15개의 표준 보기에서 91.7%의 정확도를 달성했으며, 인간 전문가(70.2–83.5%)를 초월하였다.
• 혼동 행렬을 통해 모델은 관련 있는 보기들을 올바르게 그룹화하여 논리적인 분류 패턴을 보였다.
• 오클루전 실험과 시각화 맵을 통해 모델이 심장 구조 및 영상 보기 등 해부학적으로 관련 있는 영역에 집중하고 있음을 확인하였다.
• 다양한 임상 데이터를 대규모로 훈련시킨 후에도 과적합의 징후를 보이지 않았다.
• 결과적으로 딥러닝이 표준 심장초음파 보기들을 신뢰성 있게 식별할 수 있음을 입증하여 임상 및 연구 현장에서의 자동화를 가능하게 하였다.