[논문 리뷰] Semi-supervised Medical Image Classification with Global Latent Mixing

Prashnna Gyawali, Sandesh Ghimire외 3명|arXiv (Cornell University)|2020. 05. 22.

AI in cancer detection참고 문헌 10인용 수 5

한 줄 요약

이 논문은 레이블이 부여된 데이터와 레이블이 미부여된 데이터의 입력 공간과 잠재 공간에서의 혼합을 통해 전반적인 스무딩(global smoothness)을 강제함으로써 모델의 일반화 능력을 향상시키는 새로운 반감독 학습 방법을 제안한다. 레이블이 없는 데이터에 대한 의사 레이블을 사용하여 입력 공간과 잠재 공간 양쪽에서 선형적으로 보간된 샘플을 기반으로 훈련함으로써, 흉부 X-ray 및 피부 병변 분류 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 국소적 변형이나 입력 공간 혼합에 의존하는 기존 방법들을 능가한다.

ABSTRACT

Computer-aided diagnosis via deep learning relies on large-scale annotated data sets, which can be costly when involving expert knowledge. Semi-supervised learning (SSL) mitigates this challenge by leveraging unlabeled data. One effective SSL approach is to regularize the local smoothness of neural functions via perturbations around single data points. In this work, we argue that regularizing the global smoothness of neural functions by filling the void in between data points can further improve SSL. We present a novel SSL approach that trains the neural network on linear mixing of labeled and unlabeled data, at both the input and latent space in order to regularize different portions of the network. We evaluated the presented model on two distinct medical image data sets for semi-supervised classification of thoracic disease and skin lesion, demonstrating its improved performance over SSL with local perturbations and SSL with global mixing but at the input space only. Our code is available at https://github.com/Prasanna1991/LatentMixing.

연구 동기 및 목표

• 전문가가 레이블을 부여한 의료 영상 데이터셋의 높은 비용 문제를 해결하기 위해 반감독 학습(SSL) 성능을 향상시키는 것.
• 기존의 SSL 방법들이 데이터 포인트 주변의 국소적 스무딩만 정규화하는 데에 한계가 있다는 점을 해결하기 위해 전반적인 스무딩 정규화를 도입하는 것.
• 잠재 공간에서의 혼합이 의료 영상 분류의 반감독 학습 일반화 능력을 향상시키는지 조사하는 것.
• 입력 공간과 잠재 공간에서의 혼합을 조합함으로써 반감독 의료 영상 분류에서의 효과성을 입증하는 것.

제안 방법

• 메서드는 입력 공간에서 레이블이 부여된 샘플과 레이블이 없는 샘플 쌍을 선형으로 혼합하여 보간된 이미지와 해당하는 의사 레이블을 생성한다.
• 입력 영상을 딥 네트워크의 히든 표현으로 매핑하고, 레이블이 부여된 샘플과 레이블이 없는 샘플의 잠재 특징을 혼합함으로써 혼합을 잠재 공간으로 확장한다.
• 동일한 샘플의 증강된 시각들에 대한 예측치를 앙상블 평균화하여 레이블이 없는 데이터에 대한 의사 레이블을 지속적으로 업데이트한다.
• 모델은 진짜 레이블에 대한 교차 엔트로피 손실과 입력 공간 및 잠재 공간 양쪽에서 혼합된 샘플에 대한 일관성 손실을 조합하여 훈련한다.
• 훈련 중에 입력 공간 혼합과 잠재 공간 혼합의 기여도를 균형 잡기 위해 무작위 초모수를 포함한다.
• 메서드는 딥 네트워크의 엔드 투 엔드에서 적용되며, 성능에 미치는 깊이의 영향을 평가하기 위해 다수의 레이어에서 혼합을 수행한다.

실험 결과

연구 질문

• RQ1 잠재 공간 혼합을 통한 전반적인 스무딩 정규화가 국소적 변형 기반 방법을 넘어서 반감독 의료 영상 분류 성능을 향상시킬 수 있는가?
• RQ2 입력 공간과 잠재 공간에서의 혼합을 조합하면 단독으로 어느 한 공간에서 혼합하는 것보다 더 나은 성능을 얻을 수 있는가?
• RQ3 혼합을 적용하는 잠재 공간의 깊이가 의료 영상 반감독 학습에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 잠재 공간 혼합이 모델 캘리브레이션과 결정 경계의 스무딩 정도를 어느 정도 향상시키는가?

주요 결과

• 제안된 메서드는 평가된 모든 설정에서 최고의 성능을 기록하였으며, 국소적 스무딩 기반 SSL(예: 노이즈 또는 증강을 사용한 자기 앙상블링) 및 입력 공간 전용 Mixup에 비해 뛰어난 성능을 보였다.
• 300개의 레이블이 부여된 이미지가 포함된 Chexpert 데이터셋에서, 입력 공간과 잠재 공간 혼합을 조합한 방법은 매크로 F1 스코어 0.6747 ± 0.23을 기록하여 입력 공간 Mixup(0.6736 ± 0.17)과 노이즈 기반 자기 앙상블링(0.6508 ± 0.13)을 모두 초월하였다.
• 피부 병변 데이터셋에서는 모든 평가 케이스에서 조합된 입력 및 잠재 공간 혼합 방법이 가장 높은 성능를 기록하였으며, 일관된 우수성을 입증하였다.
• 제거 실험에서는 제안된 데이터 증강 전략을 단순한 가우시안 노이즈로 대체할 경우 성능이 크게 저하됨을 확인하여, 특정 증강 전략의 중요성을 입증하였다.
• 더 깊은 레이어(예: 후기 활성화 특징)에서 혼합을 수행할 경우 입력 공간 또는 초기 레이어에서 혼합하는 것보다 더 높은 성능를 기록하였으며, 이는 고차원 표현이 전반적인 스무딩 정규화에 더 효과적임을 시사한다.
• 신뢰도 다이어그램 분석 결과, 입력 공간 혼합 대비 잠재 공간 혼합이 모델 캘리브레이션을 약간 향상시켜 더 나은 신뢰도 추정이 가능함을 나타내었다.