[논문 리뷰] Few-shot Diagnosis of Chest x-rays Using an Ensemble of Random Discriminative Subspaces

Kshitiz Gupta, Garvit Garg외 1명|arXiv (Cornell University)|2023. 08. 31.

COVID-19 diagnosis using AIMedicine인용 수 3

한 줄 요약

이 논문은 랜덤 분류 하위공간의 앙상블을 사용하여 흉부 X-ray 진단을 위한 빠르고 효율적인 소수의 샘플 학습 방법을 제안한다. 이 방법은 기존의 접근 방식보다 정확도가 뛰어나며, t-SVD 기반 방법보다 약 1.8배 빠르다. 이 방법은 잘 분리된, 분류에 유용한 하위공간을 생성하기 위해 새로운 손실 함수를 사용하여, 소규모 레이블이 부여된 데이터셋에서의 분류 성능을 향상시킨다.

ABSTRACT

Due to the scarcity of annotated data in the medical domain, few-shot learning may be useful for medical image analysis tasks. We design a few-shot learning method using an ensemble of random subspaces for the diagnosis of chest x-rays (CXRs). Our design is computationally efficient and almost 1.8 times faster than method that uses the popular truncated singular value decomposition (t-SVD) for subspace decomposition. The proposed method is trained by minimizing a novel loss function that helps create well-separated clusters of training data in discriminative subspaces. As a result, minimizing the loss maximizes the distance between the subspaces, making them discriminative and assisting in better classification. Experiments on large-scale publicly available CXR datasets yield promising results. Code for the project will be available at https://github.com/Few-shot-Learning-on-chest-x-ray/fsl_subspace.

연구 동기 및 목표

• 소수의 레이블이 부여된 의료 영상 데이터가 제한된 소수의 샘플 학습을 위한 흉부 X-ray 진단 문제를 해결한다.
• t-SVD와 같은 기존의 하위공간 분해 방법들에 비해 계산적으로 효율적인 대안을 개발한다.
• 새로운 손실 함수를 통해 상호 저상관계를 가진 분류에 적합한 하위공간을 생성하여 분류 정확도를 향상시킨다.
• 의료 영상에서 클래스당 몇 개의 레이블이 있는 경우에도 효과적인 소수의 샘플 학습을 가능하게 한다.

제안 방법

• 특징 추출 모듈(FEM)을 포함한 세 모듈로 구성된 파이프라인을 사용하며, 이는 미세조정된 EfficientNet-B7를 사용해 특징을 추출한다.
• 특징을 다수의 랜덤이면서 분류에 적합한 하위공간으로 투영하기 위해 학습 가능한 완전 연결층을 사용하는 하위공간 임bedding 모듈(SEM)을 적용한다.
• 하위공간 간 유사도를 최소화하고 상호 분리도를 극대화하기 위해 새로운 분류 손실 함수를 적용한다.
• 각 하위공간 내 평균 임베딩까지의 L2 거리를 기반으로 클래스 확률를 계산한 후, 최종 분류를 위해 소프트맥스를 사용한다.
• 최종 결정 모듈(FDM)을 통해 하위공간 간 예측을 통합하여 최종 레이블을 할당한다.
• 하위공간의 분류 능력을 향상시키기 위해 복합 손실 함수를 최소화함으로써 모델을 종합적으로 최적화한다.

Figure 1: Pipeline of the proposed method. Our model consists of a feature extraction module (FEM), a subspace embedding module (SEM), and a final decision module (FDM). FEM extracts visual features from the chest x-ray images. SEM projects the extracted feature vectors into multiple random subspace

실험 결과

연구 질문

• RQ1 소수의 레이블이 부여된 데이터로 흉부 X-ray 진단에서 랜덤 하위공간의 앙상블이 경쟁력 있는 소수의 샘플 분류 성능을 달성할 수 있는가?
• RQ2 제안된 방법은 t-SVD 기반의 하위공간 분해 기법과 비교하여 정확도와 속도 면에서 어떻게 성능을 내는가?
• RQ3 새로운 분류 손실 함수가 하위공간 간 분리도를 효과적으로 향상시키고 분류 성능을 향상시키는가?
• RQ4 소수의 샘플 흉부 X-ray 진단에서 최적의 성능을 달성하기 위해 최적의 하위공간 수는 얼마인가?

주요 결과

• 제안된 방법은 NIH CXR 데이터셋에서 3-way 5-shot 분류 설정에서 여러 테스트 클래스에서 최신 기술 수준 또는 경쟁 가능한 정확도를 달성한다.
• 30개의 하위공간을 사용할 경우, Group1(Fibrosis, Hernia, Pneumonia)에서 평균 정확도 42.82%를 기록하여 ProtoNet과 MatchingNet을 모두 초월한다.
• GTX 1080 Ti에서 각 에포크당 DSN(기존 t-SVD 기반 방법)보다 약 1.8배 더 빠른 속도를 기록하며, 학습 시간은 18분 35초 대비 33분 48초이다.
• Group3(Edema, Emphysema, Consolidation)에서는 65.16%의 정확도를 기록하여 DSN(Edema는 68.00%이지만 다른 클래스에서는 낮은 성능)보다 뚜렷이 뛰어나다.
• 제거 실험 결과 30개의 하위공간가 최적의 성능를 내며, 하위공간 수가 모델의 효능에 큰 영향을 미친다는 것을 확인하였다.
• 새로운 손실 함수는 하위공간 유사도를 효과적으로 감소시켜 더 나은 클래스 간 분리도를 이끌어내고 분류의 강건성을 향상시켰다.

Figure 2: Sample results of the prediction (P) by the proposed method and the ground truth (GT) for images of novel classes. Correct and incorrect detections are marked in green and red, respectively.