[논문 리뷰] Temporal Context Matters: Enhancing Single Image Prediction with Disease Progression Representations

Aishik Konwer, Xuan Xu외 3명|arXiv (Cornell University)|2022. 03. 02.

Colorectal Cancer Screening and Detection인용 수 4

한 줄 요약

이 논문은 단일 영상 임상 결과 예측을 향상시키기 위해 제한된 시간적 의료 영상 데이터를 활용하는 새로운 딥러닝 프레임워크를 제안한다. 병변 진행 상황을 모델링하기 위해 자기주의(Temporal Convolutional Network, TCN)를 사용하고, 스냅샷 특징을 위해 비전 트랜스포머(Vision Transformer)를 활용하며, 최대 평균 차이(MMD) 손실을 통해 표현을 재보정하고 정렬함으로써 흉부 X선 및 관절염 방사선 촬영 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Clinical outcome or severity prediction from medical images has largely focused on learning representations from single-timepoint or snapshot scans. It has been shown that disease progression can be better characterized by temporal imaging. We therefore hypothesized that outcome predictions can be improved by utilizing the disease progression information from sequential images. We present a deep learning approach that leverages temporal progression information to improve clinical outcome predictions from single-timepoint images. In our method, a self-attention based Temporal Convolutional Network (TCN) is used to learn a representation that is most reflective of the disease trajectory. Meanwhile, a Vision Transformer is pretrained in a self-supervised fashion to extract features from single-timepoint images. The key contribution is to design a recalibration module that employs maximum mean discrepancy loss (MMD) to align distributions of the above two contextual representations. We train our system to predict clinical outcomes and severity grades from single-timepoint images. Experiments on chest and osteoarthritis radiography datasets demonstrate that our approach outperforms other state-of-the-art techniques.

연구 동기 및 목표

• 제한된 시간적 영상 데이터를 통합하여 단일 시점 의료 영상에서 임상 결과 예측을 향상시키기 위해.
• 계층적 자기주의(Temporal ConvNet, TCN)를 사용해 순차적 스캔에서 병변 진행 경로를 모델링하기 위해.
• 스냅샷 및 시간적 영상 모odal 간의 서로 다른 특징 분포를 보다 잘 정렬하여 예측 성능을 향상시키기 위해.
• 최대 평균 차이(MMD) 손실을 사용한 재보정 메커니즘을 개발하여 스냅샷 및 진행 기반 표현 간의 도메인 간 격차를 메우기 위해.
• 실제 데이터셋을 활용해 사망률 및 관절염 중증도 예측에 이 방법의 효과성을 입증하기 위해.

제안 방법

• 순차적 영상에서 병변 진행 상황의 최적 표현을 학습하기 위해 자기주의 기반의 시간적 컨volution 네트워크(TCN)를 사용한다.
• 단일 시점 영상에서 자기지도 학습 방식으로 비전 트랜스포머(ViT)를 사전학습시켜 고수준 특징을 추출한다.
• 스냅샷 특징의 분포를 최적의 시간적 표현과 정렬하기 위해 최대 평균 차이(MMD) 손실을 사용하는 재보정 모듈을 도입한다.
• MMD를 특징 수준의 매칭 목적함수로 사용하여, 프레임워크를 엔드 투 엔드로 미세조정하여 단일 영상에서 임상 결과 및 중증도 등급을 예측한다.
• TCN 내부의 계층적 자기주의는 병변 진화 과정에서 핵심 전이 단계를 동적으로 선택할 수 있도록 한다.
• 순서형 손실을 활용한 분류 및 평가를 통해 흉부 X선 및 관절염 방사선 촬영 데이터셋에서의 성능을 분석한다.

실험 결과

연구 질문

• RQ1 제한된 시간적 영상 데이터는 단일 시점 의료 영상에서 임상 결과 예측을 향상시킬 수 있는가?
• RQ2 희소한 순차적 스캔에서 병변 진행 패턴을 효과적으로 모델링할 수 있는가?
• RQ3 단일 영상 및 시간적 시퀀스에서 유도된 특징 표현을 최적으로 정렬하는 방법은 무엇인가?
• RQ4 이 의료 영상 맥락에서 MMD 기반 특징 정렬은 다른 분포 매칭 기법보다 뛰어나게 성능을 발휘하는가?
• RQ5 TCN 아키텍처 내의 주의 메커니즘이 임상적으로 유의미한 진행 단계 선택을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 OAI 관절염 데이터셋에서 이전 최신 기술 수준의 모델(SE 블록) 대비 AUC가 5.8%p 상승하여 절대적 향상을 달성했다.
• 관절염 중증도 등급 분류에서 코HEN의 카파 값이 0.73을 기록하여 비교된 모든 접근 방식 중에서 가장 높은 일치도를 보였다.
• SnapCXR 데이터셋에서 시간적 모델링이 없는 기준 모델 대비 기도 확산 예측에서 AUC가 12.8%p 향상되었고, 사망률 예측에서는 10.12%p 향상되었다.
• 제거 분석 결과, MMD 손실을 사용할 경우 관절염 중증도 예측에서 AUC가 5.4%p 향상되었으며, KL 발산 및 바타카리아 손실보다 뛰어난 성능을 보였다.
• TCN 내 계층적 자기주의 메커니즘이 전역 주의보다 略적으로 높은 성능을 보였으며, 더 나은 문맥 모델링이 가능함을 시사한다.
• MMD 손실은 λ=0.5에서 성능 포화 상태에 도달했으며, 이는 조그만 시간적 정렬 기여도가 예측 성능 향상에 상당한 영향을 미침을 시사한다.