[논문 리뷰] Plaque Classification in Coronary Arteries from IVOCT Images Using Convolutional Neural Networks and Transfer Learning

Nils Gessert, Markus Heyder외 3명|arXiv (Cornell University)|2018. 04. 11.

Coronary Interventions and Diagnostics참고 문헌 3인용 수 10

한 줄 요약

이 연구는 관상동맥에서의 자동 플라크 분류를 위한 딥러닝 접근법을 제안한다. 직각좌표계로 표현된 IVOCT B-스캔에 대해 사전 훈련된 ResNet 및 Inception 모델을 활용한 전이학습을 통해, 88.0%의 정확도, 90.0%의 민감도 및 85.5%의 특이도를 달성하였으며, 이는 극좌표계로 표현된 모델들과 사전 훈련 없이 훈련된 모델들보다 뛰어난 성능을 보였다.

ABSTRACT

Advanced atherosclerosis in the coronary arteries is one of the leading causes of deaths worldwide while being preventable and treatable. In order to image atherosclerotic lesions (plaque), intravascular optical coherence tomography (IVOCT) can be used. The technique provides high-resolution images of arterial walls which allows for early plaque detection by experts. Due to the vast amount of IVOCT images acquired in clinical routines, automatic plaque detection has been addressed. For example, attenuation profiles in single A-Scans of IVOCT images are examined to detect plaque. We address automatic plaque classification from entire IVOCT images, the cross-sectional view of the artery, using deep feature learning. In this way, we take context between A-Scans into account and we directly learn relevant features from the image source without the need for handcrafting features.

연구 동기 및 목표

• 딥러닝을 활용하여 IVOCT 영상에서 플라크 존재 여부를 자동으로 분류하는 방법을 개발하기 위해.
• ImageNet에서의 전이학습을 적용하여 제한된 의료 영상 데이터에 도전하기 위해.
• 이미지 표현 방식(직각좌표 대비 극좌표)이 플라크 분류 성능에 미치는 영향을 평가하기 위해.
• 사전 분할에 의존하지 않고 임상 IVOCT 데이터에서 흔히 발견되는 아티팩트에 대해 강건한 모델을 훈련하기 위해.
• 2,868개의 레이블이 부여된 B-스캔을 포함한 새로운 전문가가 확인한 IVOCT 데이터셋을 구축하고 공개하기 위해.

제안 방법

• 41명의 환자에서 수집한 2,868개의 레이블이 부여된 B-스캔을 포함하는 새로운 IVOCT 데이터셋을 구축하였으며, 플라크 또는 비플라크에 대한 전문가가 확인한 진실값을 사용하였다.
• 딥러닝 성능에 미치는 이미지 기하학적 특성의 영향을 평가하기 위해 IVOCT 영상을 직각좌표계와 극좌표계 양식으로 표현하였다.
• ImageNet에서 사전 훈련된 ResNet50, ResNet101, InceptionV3 및 Inception-ResNetV2 모델을 사용하여 IVOCT 플라크 분류에 대해 전이학습을 수행하였다.
• 훈련 중에 랜덤 크롭(270×270), 랜덤 회전(직각좌표), 수평 플립(극좌표) 등의 데이터 증강 기법을 적용하였다.
• 일致한 평가를 보장하기 위해 추론 시에는 증강 없이 단일 중심 크롭을 사용하였다.
• 각 사전 훈련된 모델의 최종 레이어를 교체한 후, 드롭아웃(p=0.5)을 적용하여 정규화를 수행한 이진 분류 헤드를 사용하였다.

실험 결과

연구 질문

• RQ1 ImageNet에서의 전이학습이 제한된 IVOCT 데이터셋에서 플라크 분류 성능을 향상시키는가?
• RQ2 딥러닝 특징 학습에서 IVOCT 플라크 분류에 있어 직각좌표 이미지 표현 방식이 극좌표 표현 방식보다 더 효과적인가?
• RQ3 다양한 딥 네트워크 아키텍처(ResNet, Inception)가 IVOCT 플라크 분류에 적용되었을 때 성능에 어떻게 영향을 미치는가?
• RQ4 사전 처리 단계(예: 루멘 분할 또는 아티팩트 제거)에 의존하지 않고도 딥러닝 모델이 높은 정확도를 달성할 수 있는가?
• RQ5 데이터 불균형과 이미지 아티팩트가 플라크 분류 모델의 강건성과 일반화 능력에 미치는 영향은 무엇인가?

주요 결과

• 전이학습은 모델 성능을 크게 향상시켰으며, 최고의 모델은 ImageNet에서 미세조정한 결과 88.0%의 정확도, 90.0%의 민감도, 85.5%의 특이도를 기록하였다.
• 성능이 가장 뛰어난 모델은 ImageNet에서 사전 훈련된 ResNet101을 사용하였으며, IVOCT 영상은 직각좌표계로 표현하였다.
• 모든 모델에서 직각좌표 이미지 표현 방식이 열등한 성능을 보였으며, ResNet101 기준으로 극좌표 표현 방식 대비 5.2%의 정확도 절대 향상(88.0% 대 82.8%)을 기록하였다.
• 사전 훈련 없이 훈련된 최고의 모델은 78.9%의 정확도를 기록하였으며, 이는 제한된 의료 데이터에서 전이학습이 성능 향상에 필수적임을 시사한다.
• ResNet101은 사전 훈련 여부에 관계없이 다른 아키텍처들보다 뛰어난 성능을 보였으며, 이는 이 작업에 적합함을 시사한다.
• 본 연구는 딥러닝 모델이 사전 처리 파이프라인 없이도 아티팩트가 존재하는 원시 IVOCT 영상에서 강건한 특징을 학습할 수 있음을 입증하였다.