[논문 리뷰] Imbalance-Aware Self-Supervised Learning for 3D Radiomic Representations

Hongwei Li, Fei-Fei Xue외 6명|arXiv (Cornell University)|2021. 03. 06.

Radiomics and Machine Learning in Medical Imaging참고 문헌 24인용 수 4

한 줄 요약

이 논문은 데이터 불균형 문제를 해결하기 위해 비지도 재가중 및 배치 구성 균형 조정을 통한 3D 시아모이즈 자기지도 학습 프레임워크를 제안한다. 이는 뇌종양 분류 및 폐암 단계 분류에서 최신 기술 수준의 성능을 달성하며, 특히 레이블 부족 조건에서 전통적인 방사학적 특징 추출 및 지도 학습을 능가한다.

ABSTRACT

Radiomic representations can quantify properties of regions of interest in medical image data. Classically, they account for pre-defined statistics of shape, texture, and other low-level image features. Alternatively, deep learning-based representations are derived from supervised learning but require expensive annotations from experts and often suffer from overfitting and data imbalance issues. In this work, we address the challenge of learning representations of 3D medical images for an effective quantification under data imbalance. We propose a \emph{self-supervised} representation learning framework to learn high-level features of 3D volumes as a complement to existing radiomics features. Specifically, we demonstrate how to learn image representations in a self-supervised fashion using a 3D Siamese network. More importantly, we deal with data imbalance by exploiting two unsupervised strategies: a) sample re-weighting, and b) balancing the composition of training batches. When combining our learned self-supervised feature with traditional radiomics, we show significant improvement in brain tumor classification and lung cancer staging tasks covering MRI and CT imaging modalities.

연구 동기 및 목표

• 임상 데이터셋에서 흔히 발생하지만 아직 탐색이 부족한 3D 의료 영상 자기지도 표현 학습에서의 데이터 불균형 문제를 해결하기 위해.
• 정답 레이블이 필요 없이 고차원의 구분 가능한 특징을 학습할 수 있는 자기지도 학습 3D 시아모이즈 네트워크를 개발하기 위해.
• 자기지도 표현을 전통적인 방사학적 특징과 융합하여 신경영상 및 종양학 분야의 후속 진단 성능을 향상시키기 위해.
• 자기지도 학습 훈련에서 클래스 불균형을 완화하기 위한 비지도 전략—샘플 재가중 및 균형 잡힌 배치 구성—의 효과를 평가하기 위해.
• 레이블 데이터가 제한된 조건에서 자기지도 특징가 지도 학습을 능가하거나 보완할 수 있음을 입증하기 위해.

제안 방법

• 동일한 3D 의료 영상 볼륨의 두 개의 증강된 시각을 비교함으로써 불변 표현을 학습하기 위해 공유 가중치를 가진 3D 시아모이즈 네트워크를 사용한다.
• 긍정 쌍을 생성하기 위해 네 가지 범주(애핀 변형, 외관 향상, 대trast 변화, 노이즈 주입)에 걸쳐 광범위한 데이터 증강 기법을 적용한다.
• 클래스 빈도에 기반해 손실 가중치를 조정함으로써 주류 클래스에 대한 편향을 줄이기 위해 비지도 재가중 전략(RE)을 도입한다.
• 클러스터링 기반 샘플링 전략(SE)은 샘플을 클러스터로 그룹화하고 각 클러스터에서 샘플링하여 클래스 표현의 균형을 이루도록 한다.
• SE 모듈은 k-means 클러스터링을 사용하여 균형 잡힌 클래스 분포를 가진 새로운 배치를 구성함으로써 훈련 안정성과 표현 품질을 향상시킨다.
• 최종 모델은 자기지도 특징와 전통적 방사학적 특징을 후기 융합 전략을 통해 융합하여 후속 분류 작업에 활용한다.

실험 결과

연구 질문

• RQ1 자기지도 3D 표현 학습이 불균형한 의료 영상 데이터셋에서 방사학적 특징 품질을 향상시킬 수 있는가?
• RQ2 비지도 재가중 및 균형 잡힌 배치 샘플링 전략이 자기지도 3D 의료 영상 학습에서 데이터 불균형 문제를 어떻게 완화하는가?
• RQ3 자기지도 특징를 전통적 방사학적 특징과 융합한 모델이 레이블 데이터가 제한된 환경에서 지도 학습을 능가하는가?
• RQ4 직접 자기지도 표현 학습이 루빅스 큐브와 같은 프록시 태스크 기반 자기지도 학습(예: Rubik’s cube)보다 구분 능력이 뛰어난가?
• RQ5 SE 모듈에서 최적의 클러스터 수(k)는 얼마인가? 이는 표현 품질과 일반화 능력의 균형을 유지하기 위함이다.

주요 결과

• 전통적 방사학적 특징과 자기지도 3D 표현(3DSiam+SE)의 융합은 뇌종양 분류에서 91.6% 민감도와 71.1% 특이도를 기록했으며, 레이블이 모두 제공된 조건에서 지도 학습(88.8%/71.1%)을 능가했다.
• 학습 레이블의 50%만 사용했을 때도 하이브리드 접근법은 84.8% 민감도와 76.3% 특이도를 기록했으며, 동일 조건에서 지도 학습(80.4%/56.6%)을 초월했다.
• SE 모듈은 공분산 분석에서 상관 계수 감소를 통해 특징의 중복성을 줄였으며, 이는 더 압축되고 구분 가능한 표현임을 시사한다.
• SE 모듈에서 최적의 클러스터 수(k)는 3로 확인되었으며, 더 높은 값(예: k=5)은 편향된 샘플링으로 인해 AUC가 감소하는 결과를 초래했다.
• 제안된 방법은 뇌종양 및 폐암 단계 분류 작업에서 프록시 태스크 기반 자기지도 학습(예: 루빅스 큐브)을 모두 능가했으며, 직접 자기지도 표현 학습의 우월한 구분 능력을 입증했다.
• 폐암 단계 분류에서 하이브리드 모델은 전체 정확도 53.8%와 소수 클래스 정확도 37.5%를 기록했으며, 지도 학습(52.6%/37.5%)과 전통적 방사학적 특징(49.0%/37.5%)을 모두 초월했다.