[논문 리뷰] Learning to Compare Longitudinal Images

Heejong Kim, Mert R. Sabuncu|arXiv (Cornell University)|2023. 04. 05.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 종단적 의료 영상 쌍을 비교하여 의미 있는 시간적 변화를 탐지하면서도, 대trast나 방향 전환과 같은 혼란 요인 변화를 무시하는 자기지도 및 지도 학습 기반 딥러닝 모델인 PaIRNet을 제안한다. 시간 순서 또는 진짜 변화 레이블을 기반으로 훈련함으로써 PaIRNet은 사전 처리 없이도 임상적으로 유의미한 변화—예를 들어 종양 성장이나 뇌 위축—를 국소화하고 정량화한다. 이는 정량화 및 시각화 작업에서 최신 기술들을 능가한다.

ABSTRACT

Longitudinal studies, where a series of images from the same set of individuals are acquired at different time-points, represent a popular technique for studying and characterizing temporal dynamics in biomedical applications. The classical approach for longitudinal comparison involves normalizing for nuisance variations, such as image orientation or contrast differences, via pre-processing. Statistical analysis is, in turn, conducted to detect changes of interest, either at the individual or population level. This classical approach can suffer from pre-processing issues and limitations of the statistical modeling. For example, normalizing for nuisance variation might be hard in settings where there are a lot of idiosyncratic changes. In this paper, we present a simple machine learning-based approach that can alleviate these issues. In our approach, we train a deep learning model (called PaIRNet, for Pairwise Image Ranking Network) to compare pairs of longitudinal images, with or without supervision. In the self-supervised setup, for instance, the model is trained to temporally order the images, which requires learning to recognize time-irreversible changes. Our results from four datasets demonstrate that PaIRNet can be very effective in localizing and quantifying meaningful longitudinal changes while discounting nuisance variation. Our code is available at \url{https://github.com/heejong-kim/learning-to-compare-longitudinal-images.git}

연구 동기 및 목표

• 의료 영상에서 임상적으로 의미 있는 종단적 변화와 혼란 요인 변화를 구분하는 도전 과제를 해결하기 위해.
• 이미지 정렬과 같은 전통적인 사전 처리 단계를 회피하기 위해 데이터에서 직접 시간에 역행할 수 없는 패턴을 학습함으로써 모델을 개발하기 위해.
• 수동 애너테이션이나 복잡한 통계 모델링에 의존하지 않고도 개인 수준의 변화 탐지와 인구 수준의 시간적 패턴 학습을 가능하게 하기 위해.
• 시간 순서 기반 자기지도 학습이 진짜 레이블이 없더라도 종단적 변화를 효과적으로 포착할 수 있음을 입증하기 위해.
• 활성화 맵을 사용한 해석 가능한 시각화를 통해 임상적 해석 가능성을 향상시키기 위해.

제안 방법

• PaIRNet은 종단적 영상 쌍을 처리하고 공동 임베딩 공간을 학습하기 위해 사일리언스 신경망 아키텍처를 사용한다.
• 자기지도 설정에서는 모델이 영상 쌍의 올바른 시간 순서를 예측하도록 훈련되며, 의미 있는 변화는 시간에 역행할 수 없다는 가정을 활용한다.
• 지도 학습 설정에서는 진짜 변화 레이블을 사용하여 종양 부피 차이와 같은 목표 변수를 예측한다.
• 모델은 시간 순서가 뒤바뀐 쌍의 임베딩보다 순서가 올바른 쌍의 임베딩이 더 가까워지도록 유도하는 대비 학습 목표를 사용한다.
• 활성화 맵은 클래스 활성화 맵(CAM) 기법을 사용하여 의미 있는 종단적 변화 영역을 시각화한다.
• 이 방법은 영상 정렬이나 기타 사전 처리 단계를 필요로 하지 않으며, 환자 간 공통적인 시간 패턴에 의존한다.

Figure 1: Pairwise Image Ranking Network (PaIRNet) consists of a feature extraction network, followed by a subtraction, and a ranking layer.

실험 결과

연구 질문

• RQ1 시간 순서 기반 자기지도 학습 접근 방식이 진짜 레이블이 없더라도 종단적 의료 영상에서 의미 있는 변화를 효과적으로 탐지할 수 있는가?
• RQ2 다양한 데이터셋에서 PaIRNet은 기존의 지도 학습 및 자기지도 학습 방법과 비교해 종단적 변화 정량화에 얼마나 효과적인가?
• RQ3 PaIRNet은 개인 수준에서 변화를 얼마나 정확히 국소화할 수 있으며, 환자 간 변동성과 혼란 요인 변화를 얼마나 효과적으로 억제할 수 있는가?
• RQ4 자기지도 기반 시간 순서 작업이 변화 정량화에서 지도 학습과 비교해 유사한 성능을 내는가?
• RQ5 PaIRNet의 시각화는 사전 처리 없이도 뇌 위축이나 종양 성장과 같은 알려진 생물학적 변화를 정확히 반영할 수 있는가?

주요 결과

• 자기지도 PaIRNet은 모든 네 개의 데이터셋에서 지도 학습 PaIRNet과 유사한 상관계수를 달성하여 시간 순서가 자기지도 신호로서 효과적임을 입증했다.
• Starmen 및 Embryo 데이터셋에서는 종단적 변화가 환자 간 변동성보다 더 크기 때문에, 자기지도 PaIRNet이 LSSL-CL 및 LVAE보다 변화 정량화에서 뛰어난 성능을 보였다.
• 뇌 노화 및 종양 데이터셋에서는 환자 간 변동성이 높기 때문에, 지도 학습 PaIRNet이 CSR을 크게 능가하여 복잡한 상황에서도 강건함을 입증했다.
• PaIRNet의 활성화 맵은 노화에서 뇌실과 같은 생물학적으로 관련된 영역이나 종양 성장 영역을 성공적으로 강조했으며, 운동이나 위치 이동으로 인한 비의도적 변화는 억제했다.
• 자기지도 모델의 국소화 성능가 지도 학습 버전과 유사하여, 시간 순서가 의미 있는 변화의 대체 지표로 유용함을 확인했다.
• PaIRNet의 시각화는 CSR과 달리 실제 종단적 변화와 잡음 간을 명확히 구분했으며, 비의도적인 영역에 주로 집중하는 경향이 없었다.

Figure 2: Correlation between ground-truth change in target variable and predicted change. Each row shows a different dataset and each column shows a different method. The coefficients in bold text are the best models for each task.