[논문 리뷰] Semi-Supervised Multimodal Multi-Instance Learning for Aortic Stenosis Diagnosis

Zhe Huang, Xiaowei Yu외 2명|arXiv (Cornell University)|2024. 03. 09.

Cardiac Valve Diseases and Treatments인용 수 4

한 줄 요약

이 논문은 혈관성 협착증(AS) 진료를 향상시키기 위해 스펙트럼 도플러와 2D 시네-루프 심장초음파 영상의 융합을 통해 반감독 다중모달 다중인스턴스 학습(SMMIL) 프레임워크를 제안한다. 두 모달리티에서 레이블이 부여된 데이터와 풍부한 레이블이 없는 데이터를 활용함으로써 SMMIL은 최신 기술 수준(SOTA)의 성능을 달성하여 TMED-2 데이터셋에서 3단계 AS 분류 작업에 대해 83.5%의 균형 잡힌 정확도를 기록하고, 이는 이전의 방법들보다 10점 이상 높은 성능을 보였다.

ABSTRACT

Automated interpretation of ultrasound imaging of the heart (echocardiograms) could improve the detection and treatment of aortic stenosis (AS), a deadly heart disease. However, existing deep learning pipelines for assessing AS from echocardiograms have two key limitations. First, most methods rely on limited 2D cineloops, thereby ignoring widely available Doppler imaging that contains important complementary information about pressure gradients and blood flow abnormalities associated with AS. Second, obtaining labeled data is difficult. There are often far more unlabeled echocardiogram recordings available, but these remain underutilized by existing methods. To overcome these limitations, we introduce Semi-supervised Multimodal Multiple-Instance Learning (SMMIL), a new deep learning framework for automatic interpretation for structural heart diseases like AS. When deployed, SMMIL can combine information from two input modalities, spectral Dopplers and 2D cineloops, to produce a study-level AS diagnosis. During training, SMMIL can combine a smaller labeled set and an abundant unlabeled set of both modalities to improve its classifier. Experiments demonstrate that SMMIL outperforms recent alternatives at 3-level AS severity classification as well as several clinically relevant AS detection tasks.

연구 동기 및 목표

• 자동화된 혈관성 협착증 진료에서 레이블이 부여된 심장초음파 영상 데이터의 제한 문제를 해결하기 위해.
• 임상 실무를 반영하기 위해 스펙트럼 도플러와 2D 시네-루프 영상 모달리티를 통합하여 종합적인 스터디 수준의 진료를 수행하기 위해.
• 5,386개의 레이블이 없는 스캔 데이터를 활용하여 모델의 일반화 능력을 향상시키는 반감독 학습 프레임워크를 개발하기 위해.
• 기존 모델들이 개별 영상들을 독립적으로 다루는 데서 비롯되는 한계를 극복하고 통합적인 진료를 유도하기 위해.
• 사전 학습된 의료 기초 모델이 미세조정 없이도 AS 진료에서 잘 작동할 수 있는지 평가하기 위해.

제안 방법

• SMMIL은 각 심장초음파 스터디를 인스턴스 집합(백)으로 간주하고, 단일 스터디 수준의 레이블을 예측하는 것을 목표로 하는 다중인스턴스 학습(MIL) 프레임워크를 사용한다.
• 모델은 인스턴스 수준에서 2D 시네-루프와 스펙트럼 도플러 영상의 표현을 융합하기 위해 다중모달 주의 풀링 메커니즘을 사용하며, 이후 이를 백 수준 표현으로 집계한다.
• 5,386개의 레이블이 없는 스캔 데이터를 대상으로 가짜 레이블링과 일致성 정규화를 적용한 반감독 학습 전략을 통해 분류기의 강건성을 향상시킨다.
• 모듈 간 특징의 일치를 도모하고 표현 품질을 향상시키기 위해, 특징 간의 대비 학습 목표를 사용하여 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 비전 트랜스포머 백본을 사용하여 인스턴스 수준의 특징을 추출한 후, 진단적으로 관련성이 높은 프레임을 강조하기 위해 주의 기반 풀링을 수행한다.
• 최종 분류기는 레이블이 부여된 데이터와 가짜 레이블이 부여된 레이블이 없는 데이터를 모두 사용하여 훈련되며, 훈련의 안정성을 높이기 위해 불확실성 인식 손실 가중치가 적용된다.

Figure 1: Overview of SMMIL . Top: Illustration of the SSL training workflow. In the first iteration, the model is trained on the labeled set. In all subsequent iterations, the model is trained on the union of the labeled set and the selected unlabeled subset by model from the previous iteration. Th

실험 결과

연구 질문

• RQ1 2D 시네-루프와 스펙트럼 도플러 영상을 융합하는 다중모달 다중인스턴스 학습 프레임워크가 단일 모달리티 모델을 초월하여 혈관성 협착증 진료를 향상시킬 수 있는가?
• RQ2 반감독 학습을 통해 레이블이 없는 심장초음파 영상 데이터를 통합함으로써, 자원이 제한된 의료 영상 환경에서 진료 성능이 얼마나 향상되는가?
• RQ3 제안된 SMMIL 프레임워크는 3단계 AS 중증도 분류 및 이진 AS 검출 작업에서 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?
• RQ4 사전 학습된 의료 기초 모델(예: Med-Flamingo, Rad-FM)은 미세조정 없이도 심장초음파 기반 AS 진료에서 잘 작동할 수 있는가?
• RQ5 도플러 영상의 통합이 2D 시네-루프 영상만을 사용하는 경우에 비해 진단 정확도를 상당히 향상시키는가?

주요 결과

• SMMIL-ID는 TMED-2의 All 2D 버전에서 82.0%의 균형 잡힌 정확도를 기록하여 이전 최신 기술 수준(SAMIL)보다 9.4个百分点 높였다.
• SMMIL-VD는 ViewLOnly 2D 버전에서 83.5%의 균형 잡힌 정확도를 기록하여 가장 우수한 이전 방법보다 10점 이상 높였다.
• 스펙트럼 도플러 영상의 추가만으로도 2D 영상 전용 모델 대비 평균 균형 잡힌 정확도가 9个百分点 향상되었다.
• 반감독 학습을 통해 레이블이 없는 데이터를 통합함으로써, 감독 학습 전용 기준 대비 정확도가 약 4个百分点 향상되었다.
• SMMIL-VD는 no vs. some AS 검출 작업에서 AUROC 0.98을 기록하여 ABMIL 및 DSMIL을 포함한 모든 베이스라인을 뛰어넘었다.
• 사전 학습된 의료 기초 모델(Med-Flamingo 및 Rad-FM)은 57% 미만의 균형 잡힌 정확도를 기록하여, 아직 심장초음파 진료에 직접 구현하기에는 준비되지 않았음을 시사했다.