[논문 리뷰] Self-Supervised Learning for Spinal MRIs

Amir Jamaludin, Timor Kadir외 1명|arXiv (Cornell University)|2017. 08. 01.

Medical Imaging and Analysis참고 문헌 10인용 수 15

한 줄 요약

이 논문은 종방향 스캔 쌍을 무료 감독 신호로 사용하여 척추 MRI를 위한 자기지도 학습 전훈 방법을 제안한다. 대조 손실과 척추 수준 분류를 통해 동일 환자인지 여부를 식별하는 시아미즈 컨볼루션 네트워크를 훈련시킨다. 이 방법은 완전히 애너테이션된 데이터셋으로 사전 훈련된 모델에 가까운 성능을 달성하면서도, 초기 훈련과 비교해 훨씬 적은 수의 애너테이션된 샘플을 요구하며 디스크 디제네레이션 등급 매기기 작업에서 뛰어난 성능을 보인다.

ABSTRACT

A significant proportion of patients scanned in a clinical setting have follow-up scans. We show in this work that such longitudinal scans alone can be used as a form of 'free' self-supervision for training a deep network. We demonstrate this self-supervised learning for the case of T2-weighted sagittal lumbar Magnetic Resonance Images (MRIs). A Siamese convolutional neural network (CNN) is trained using two losses: (i) a contrastive loss on whether the scan is of the same person (i.e. longitudinal) or not, together with (ii) a classification loss on predicting the level of vertebral bodies. The performance of this pre-trained network is then assessed on a grading classification task. We experiment on a dataset of 1016 subjects, 423 possessing follow-up scans, with the end goal of learning the disc degeneration radiological gradings attached to the intervertebral discs. We show that the performance of the pre-trained CNN on the supervised classification task is (i) superior to that of a network trained from scratch; and (ii) requires far fewer annotated training samples to reach an equivalent performance to that of the network trained from scratch.

연구 동기 및 목표

• 자신의 척추 영상에서 깊이 학습 네트워크를 위한 자기지도 전훈을 위해 무료로 이용 가능한 종방향 MRI 스캔을 활용하기 위해.
• 동일 환자임을 나타내는 내재된 스캔 관계를 감독 신호로 사용하여 고비용 전문가 애너테이션 데이터에 대한 의존도를 줄이기 위해.
• 자기지도 모델에서 추출한 특징을 전이하여 최소한의 레이블 데이터로 디스크 디제네레이션 등급 매기기 성능을 향상시키기 위해.
• 체추체에 대한 자기지도 학습이 척추간 디스크 분류 작업으로 일반화되는 정도를 평가하기 위해.
• 완전히 애너테이션된 데이터셋에서의 전이 학습과 비교해 종방향 자기지도 학습의 효과성을 평가하기 위해.

제안 방법

• 대조 손실을 사용하여 동일 환자 스캔은 가까이, 다른 환자 스캔은 멀리 오차를 줄이는 방식으로, T2 강도의 골반 부위 종방향 척추 MRI 절단면 쌍에 대해 시아미즈 컨볼루션 네트워크를 훈련시킨다.
• 척추 수준 예측(Thoracic 12부터 Sacral 1까지)을 위한 분류 헤드를 함께 훈련시켜 데이터 기반 자기지도 학습을 추가한다.
• 입력 볼륨은 추출 및 전처리되며, 척추체(224×224×9)와 척추간 디스크(112×224×9)로 나뉘며, 강도 정규화와 0 패딩이 적용된다.
• 대조 손실은 𝒟 = Σ(y)d² + (1−y)max(0, m−d)²로 정의되며, d는 두 척추체의 1024차원 임bedding 간 L2 거리이고, y=1은 동일 환자 쌍, y=0은 다른 환자 쌍을 의미한다.
• 전훈 후, 완전 연결 계층만 미세조정하는 새로운 분류 네트워크에 컨볼루션 가중치를 전이한다.
• 성능 평가에서는 200명의 환자로 구성된 테스트 세트(영상의 라벨 기반 등급)를 사용하여, 전훈된 모델과 초기 훈련, ImageNet/완전 애너테이션 전이 학습을 비교한다.

실험 결과

연구 질문

• RQ1 종방향 MRI 스캔을 척추 영상에서 깊이 학습 네트워크의 무료 자기지도 학습 신호로 사용할 수 있는가?
• RQ2 동일 환자 스캔 쌍으로의 전훈이 디스크 디제네레이션 등급 매기기 작업의 최종 분류 성능을 향상시키는가?
• RQ3 자기지도 전훈의 성능가지, 초기 훈련 및 완전 애너테이션된 데이터셋에서의 전이 학습과 비교해 어떻게 되는가?
• RQ4 척추체에서의 자기지도 학습이 척추간 디스크 분류 작업으로 얼마나 일반화되는가?
• RQ5 자기지도 전훈이 동일한 성능를 달성하기 위해 필요한 애너테이션된 훈련 샘플 수를 줄일 수 있는가?

주요 결과

• 자기지도 전훈 모델은 오직 667장의 스캔만을 사용해 디스크 디제네레이션 등급 매기기에서 74.4%의 정확도를 달성했으며, 이는 976장의 스캔을 사용해 초기 훈련한 모델의 74.7% 정확도와 유사한 성능이다.
• 저자료 환경에서 종방향 전훈의 성능 향상은 뚜렷하며, 초기 훈련 대비 동일한 성능에 도달하기 위해 훨씬 적은 수의 애너테이션된 샘플이 필요하다.
• 완전히 애너테이션된 데이터셋(IVD 분류 포함)에서 사전 훈련된 CNN으로부터의 전이 학습은 최소 2.5% 이상의 정확도 향상을 보였으며, 이는 상한선으로서의 역할을 한다.
• 비록 시아미즈 네트워크가 척추체에서 훈련되었지만, 전이된 특징은 척추간 디스크 분류 작업으로 효과적으로 일반화되었으며, 초기 훈련을 능가하는 성능을 보였다.
• 자기지도 모델의 성능가지 976장의 스캔에서 정체되지 않았으며, 더 많은 데이터로 더 향상될 가능성이 있음을 시사하여, 이 방법이 자료 효율적이고 확장 가능하다는 것을 보여준다.
• 이 방법은 종방향 스캔 정보가 DICOM 메타데이터에 일반적으로 존재하므로, 기존 임상 데이터를 활용해 무료로 확장 가능한 전훈 전략을 제공한다.