[논문 리뷰] Local Spatiotemporal Representation Learning for Longitudinally-consistent Neuroimage Analysis

Mengwei Ren, Neel Dey외 3명|PubMed|2022. 06. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 13

한 줄 요약

이 논문은 종단적 뇌 영상에 대해 시간과 공간 스케일에서의 내부 주체 특징 자기유사성을 활용하는 국소적, 다중 스케일 시공간 표현 학습 프레임워크를 제안한다. 디코더에 분산, 공분산, 직교성 정규화를 도입하고, 미세조정 중에 세그멘테이션 일관성 손실을 적용하여, 자기지도 학습 및 지도 학습 기반 모델들과 비교해 성능이 뛰어난 세그멘테이션 정확도와 종단적 일관성을 달성한다.

ABSTRACT

Recent self-supervised advances in medical computer vision exploit the global and local anatomical self-similarity for pretraining prior to downstream tasks such as segmentation. However, current methods assume i.i.d. image acquisition, which is invalid in clinical study designs where follow-up longitudinal scans track subject-specific temporal changes. Further, existing self-supervised methods for medically-relevant image-to-image architectures exploit only spatial or temporal self-similarity and do so via a loss applied only at a single image-scale, with naive multi-scale spatiotemporal extensions collapsing to degenerate solutions. To these ends, this paper makes two contributions: (1) It presents a local and multi-scale spatiotemporal representation learning method for image-to-image architectures trained on longitudinal images. It exploits the spatiotemporal self-similarity of learned multi-scale intra-subject image features for pretraining and develops several feature-wise regularizations that avoid degenerate representations; (2) During finetuning, it proposes a surprisingly simple self-supervised segmentation consistency regularization to exploit intra-subject correlation. Benchmarked across various segmentation tasks, the proposed framework outperforms both well-tuned randomly-initialized baselines and current self-supervised techniques designed for both i.i.d. and longitudinal datasets. These improvements are demonstrated across both longitudinal neurodegenerative adult MRI and developing infant brain MRI and yield both higher performance and longitudinal consistency.

연구 동기 및 목표

• 독립적 동일분포(i.i.d.) 데이터를 가정하는 기존 자기지도 학습 방법의 한계를 해결하기 위해, 종단적 뇌 영상에서 강한 내부 주체 시간적 상관관계가 존재하는 상황에서 i.i.d. 가정이 성립하지 않는 문제를 다룬다.
• 음성 샘플이 없는 상황에서 다중 스케일, 국소 대비 학습에서의 열악한 표현을 방지하기 위해 디코더에 특징 기반 정규화를 도입함으로써 표현의 열악함을 해결한다.
• 미세조정 단계에서 단순한 자기지도 일관성 정규화를 적용하여, 저샷 및 피셔샷 설정에서의 세그멘테이션 성능과 종단적 일관성을 향상시킨다.
• 신경퇴행성 및 발달 뇌 연구의 후속 세그멘테이션 작업을 위해, 레이블이 없는 종단적 MRI 데이터로부터 강건하고 이식 가능한 표현을 가능하게 한다.

제안 방법

• 다중 스케일 특징 간의 패치 기반 코사인 유사도 손실을 인코더 및 디코더 브랜치에서 모두 적용하여 종단적 영상 시퀀스 내 국소 시공간 자기유사성을 활용한다.
• 디코더 특징에 노이즈 제거, 분산, 공분산 정규화 및 직교성 정규화의 세 가지 정규화 항목을 도입하여, 음성 샘플이 없는 상황에서 열악한 해법을 방지한다.
• 내부 주체의 대응 패치 위치를 양성 예외로 삼는 대비 학습 목표를 적용하여, 위치에 따라 영향을 받는 특징을 유도하는 난잡한 음성 샘플링을 피한다.
• 레이블이 없는 데이터에서 인접한 시간대 간 일관된 세그멘테이션 예측을 장려하기 위해, 미세조정 단계에서 자기지도 일관성 정규화를 적용한다.
• 시간대 간 일치를 보장하고 특징 일관성을 확보하기 위해, 공유된 가중치를 갖는 U-Net 기반 아키텍처를 사용한다.
• 다중 스케일 대비 손실과 정규화 항목의 조합을 사용해 모델을 엔드 투 엔드로 훈련하고, 제한된 레이블 데이터를 활용해 미세조정한다.

실험 결과

연구 질문

• RQ1 i.i.d. 가정이 성립하지 않는 종단적 뇌 영상에서 국소적, 다중 스케일 시공간 자기지도 학습이 표현 학습 성능을 향상시킬 수 있는가?
• RQ2 음성 샘플이 없는 다중 스케일, 국소 대비 학습에서 이미지-이미지 아키텍처에서 열악한 표현을 방지하는 방법은 무엇인가?
• RQ3 미세조정 단계에서 세그멘테이션 예측의 시공간 일관성을 강제로 적용하면 성능과 종단적 일관성이 향상되는가?
• RQ4 제안된 방법이 소아 및 성인 신경퇴행성 인구를 포함한 다양한 종단적 뇌 영상 작업에 일반화 가능한가?

주요 결과

• 제안된 방법은 성인 및 유아 MRI 데이터셋에서 일장, 소수, 전수 세그멘테이션 작업 전반에서 잘 튜닝된 무작위 초기화 모델과 최신 자기지도 학습 방법보다 뛰어난 성능을 보였다.
• 정규화를 적용한 후 디코더 특징는 더 높은 공간 변동성과 더 풍부한 의미적 내용을 보였으며, 이는 더 높은 랭크의 공간 공분산 행렬과 더 다양한 유사도 맵을 통해 확인되었다.
• 정규화 없이 제거된 실험에서는 깊이 있는 디코더 레이어에서 공간 다양성이 낮고 잡음이 많은 특징을 포함한 열악한 표현으로 수렴하는 것으로 나타났다.
• 미세조정 단계에서 세그멘테이션 일관성 정규화를 포함시킴으로써 시간대 간 예측의 종단적 일관성이 뚜렷이 향상되었다.
• 시각화 결과는 정규화된 특징가 시간에 걸쳐 의미 있는 유사도 패턴을 생성하는 반면, 정규화되지 않은 특징는 공간적으로 반복적이며 잡음이 많은 출력을 생성하는 것으로 확인되었다.
• 정량적 결과는 제한된 레이블이 존재하는 상황에서도 전체 모델이 베이스라인보다 더 높은 Dice 스코어와 더 나은 시간적 일관성을 확보하고 있음을 보여주었다.