[논문 리뷰] Weakly-Supervised Localization and Classification of Proximal Femur Fractures

Amelia Jiménez-Sánchez, Anees Kazi외 6명|arXiv (Cornell University)|2018. 09. 27.

COVID-19 diagnosis using AI참고 문헌 15인용 수 3

한 줄 요약

이 논문은 영상 수준의 레이블만을 사용하여 X-ray 영상에서 대퇴부 골절의 동시 국소화 및 분류를 위한 약한 감독 기반 딥러닝 프레임워크를 제안한다. 공간 변환기, 자기 전이 학습, 및 글로벌 풀링 기반 국소화를 통합함으로써, 추가적인 바운딩 박스 레이블이 필요 없이 기준 모델 대비 최대 7% 높은 분류 정확도를 달성하며, 이는 약한 감독 기반 국소화가 계층적 AO 골절 분류에서 성능과 해석 가능성 모두를 향상시킬 수 있음을 보여준다.

ABSTRACT

In this paper, we target the problem of fracture classification from clinical X-Ray images towards an automated Computer Aided Diagnosis (CAD) system. Although primarily dealing with an image classification problem, we argue that localizing the fracture in the image is crucial to make good class predictions. Therefore, we propose and thoroughly analyze several schemes for simultaneous fracture localization and classification. We show that using an auxiliary localization task, in general, improves the classification performance. Moreover, it is possible to avoid the need for additional localization annotations thanks to recent advancements in weakly-supervised deep learning approaches. Among such approaches, we investigate and adapt Spatial Transformers (ST), Self-Transfer Learning (STL), and localization from global pooling layers. We provide a detailed quantitative and qualitative validation on a dataset of 1347 femur fractures images and report high accuracy with regard to inter-expert correlation values reported in the literature. Our investigations show that i) lesion localization improves the classification outcome, ii) weakly-supervised methods improve baseline classification without any additional cost, iii) STL guides feature activations and boost performance. We plan to make both the dataset and code available.

연구 동기 및 목표

• 딥러닝을 활용하여 AO 체계에 따라 대퇴부 골절 분류의 정확도를 향상시키는 것.
• 전체 영상 분류 대비 골절 영역을 국소화하는 것이 분류 성능 향상에 기여하는지 조사하는 것.
• 영상 수준의 레이블만을 활용하는 약한 감독 기반 방법을 통해 레이블링 부담을 줄이는 것.
• 의료 영상 분류 맥락에서 다수의 약한 감독 기반 국소화 기법을 평가하고 비교하는 것.
• 추가 감독 없이도 주의 맵과 국소화 히트맵을 통해 모델의 해석 가능성과 의사결정 투명성을 향상시키는 것.

제안 방법

• 분류 및 국소화를 동시에 최적화하는 다중 작업 학습 프레임워크를 사용하여 딥 신경망을 구현한다.
• 입력 X-ray 영상에서 골절 영역에 집중하기 위해 공간 변환기(Spatial Transformers, ST)를 활용한다.
• 국소화와 분류를 동시에, 기울기 전파가 가능한 방식으로 병렬로 학습할 수 있도록 자기 전이 학습(Self-Transfer Learning, STL)을 적용한다.
• 전용 국소화 헤드 대비 경량 대안으로서 글로벌 풀링 레이어를 활용한 국소화를 탐색한다.
• 전체 영상만을 사용하여 분류하는 기준 모델(LBM)을 구현하여 성능 기준으로 활용한다.
• 분류 손실에서 유도된 기울기가 역전파되어 국소화를 암묵적으로 학습하는 약한 감독 학습 기반으로, 바운딩 박스 레이블이 필요 없도록 설계한다.

실험 결과

연구 질문

• RQ1 약한 감독 기반 국소화를 통합할 경우, 대퇴부 골절 X-ray 영상에서 AO 골절 분류 성능이 향상되는가?
• RQ2 정확도 및 국소화 품질 측면에서, 약한 감독 기반 국소화 방법은 완전 감독 기반 국소화와 비교해 어떻게 성능을 내는가?
• RQ3 주의 기반 국소화가 모델의 해석 가능성과 의사결정 투명성을 얼마나 향상시키는가?
• RQ4 자기 주의 메커니즘인 자기 전이 학습(STL)이 표준 약한 감독 기반 기준 모델을 초월해 특징 학습을 유도하고 분류 성능을 향상시킬 수 있는가?
• RQ5 국소화가 미세 분류(6종류 AO 체계)에 미치는 영향은 어떠한가? 특히 전문가 간 일치도가 낮은 상황에서 어떻게 되는가?

주요 결과

• 국소화가 분류 성능을 크게 향상시키며, 진짜 바운딩 박스를 사용할 경우 전체 영상 분류 대비 평균 9%의 정확도 향상이 이루어졌다.
• 자기 전이 학습(STL)과 같은 약한 감독 기반 방법은 추가적인 레이블 없이도 기준 모델(LBM) 대비 7% 높은 분류 성능을 기록하였다.
• 성능이 가장 뛰어난 모델은 국소화에 대해 평균 정밀도(mAP) 0.47를 달성했지만, IoU 기반 지표는 척도 오차에 과민할 수 있다.
• 약한 감독 기반 국소화를 사용한 모델는 골절 영역을 강조하는 해석 가능한 주의 맵을 생성하여 임상적 신뢰도와 모델 투명성을 향상시켰다.
• STL는 국소화 및 분류 양 측면에서 다른 약한 감독 기반 방법보다 뛰어난 성능을 보였으며, 국소화와 분류를 동시에 최적화하는 병렬 구조 덕분으로 보인다.
• 진짜 바운딩 박스를 사용한 Sup. Loc. 모델가 가장 높은 성능을 기록하였으며, 이는 특히 성능이 관찰자 간 일치도 이하(66–71%)에 머무는 6종류 분류 시나리오에서 국소화가 핵심임을 확인시켰다.