[논문 리뷰] Semi-supervised object detection based on single-stage detector for thighbone fracture localization

Jinman Wei, Jinkun Yao외 4명|arXiv (Cornell University)|2022. 10. 20.

Hip and Femur Fractures인용 수 5

한 줄 요약

이 논문은 단일 단계 검출기 기반의 히프 뼈 골절 국소화를 위한 준지도 학습 객체 검출 프레임워크를 제안하며, 신뢰도 높은 가짜 라벨 필터링을 위한 적응형 어려운 샘플 중심(ADSO) 모듈, 유사한 가짜 바운딩 박스를 융합하는 Fusion Box 모듈, 그리고 적응형 데이터 증강을 위한 변형 가능한 확장 인코더(Dex 인코더) 모듈을 도입한다. 이 방법은 전체 데이터에서 86.2%의 AP50와 52.6%의 AP75를 기록하며, 낮은 라벨 설정에서도 기존 방법들을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The thighbone is the largest bone supporting the lower body. If the thighbone fracture is not treated in time, it will lead to lifelong inability to walk. Correct diagnosis of thighbone disease is very important in orthopedic medicine. Deep learning is promoting the development of fracture detection technology. However, the existing computer aided diagnosis (CAD) methods baesd on deep learning rely on a large number of manually labeled data, and labeling these data costs a lot of time and energy. Therefore, we develop a object detection method with limited labeled image quantity and apply it to the thighbone fracture localization. In this work, we build a semi-supervised object detection(SSOD) framework based on single-stage detector, which including three modules: adaptive difficult sample oriented (ADSO) module, Fusion Box and deformable expand encoder (Dex encoder). ADSO module takes the classification score as the label reliability evaluation criterion by weighting, Fusion Box is designed to merge similar pseudo boxes into a reliable box for box regression and Dex encoder is proposed to enhance the adaptability of image augmentation. The experiment is conducted on the thighbone fracture dataset, which includes 3484 training thigh fracture images and 358 testing thigh fracture images. The experimental results show that the proposed method achieves the state-of-the-art AP in thighbone fracture detection at different labeled data rates, i.e. 1%, 5% and 10%. Besides, we use full data to achieve knowledge distillation, our method achieves 86.2% AP50 and 52.6% AP75.

연구 동기 및 목표

• 의료 영상 분석에서의 높은 레이블링 비용 문제를 해결하기 위해 히프 뼈 골절 국소화를 위한 준지도 학습 객체 검출 방법을 개발한다.
• 비정상적인 라벨 데이터(1%, 5%, 10%) 설정에서도 비라벨 데이터를 효과적으로 활용하여 검출 성능을 향상시킨다.
• 준지도 학습 환경에서 단일 단계 검출기의 특성인 노이즈가 많은 가짜 라벨과 열악한 회귀 품질 문제를 해결한다.
• 적응형 데이터 증강 및 가짜 라벨 정제 기법을 통해 모델의 강건성과 일반화 능력을 향상시킨다.

제안 방법

• 분류 점수를 신뢰도 지표로 사용하여 저신뢰도 가짜 라벨을 필터링하는 ADSO 모듈을 제안한다.
• 겹치거나 유사한 가짜 바운딩 박스를 하나의 더 신뢰할 수 있는 회귀 타겟으로 융합하는 Fusion Box 모듈을 도입한다.
• 확장 컨볼루션을 활용하여 데이터 증강의 적응성과 특징 표현 능력을 향상시키기 위해 변형 가능한 확장 인코더(Dex 인코더)를 설계한다.
• 선생-학생 학습 프레임워크를 적용하여 선생 모델이 비라벨 데이터에 대해 가짜 라벨을 생성하고, 이를 기반으로 학생 모델을 훈련시킨다.
• 특히 AP75 지표에서 성능 향상을 위해 전체 데이터를 활용한 지식 정렬 기법을 적용한다.
• 백본으로 YOLOF를 사용하고, 각 구성 요소의 유효성을 검증하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 최소한의 라벨 데이터로 단일 단계 검출기 기반 준지도 학습 객체 검출 프레임워크가 히프 뼈 골절 국소화에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 단일 단계 검출기의 노이즈가 많은 예측에 민감한 특성 고려 시, 준지도 학습 환경에서 가짜 라벨 품질을 어떻게 향상시킬 수 있는가?
• RQ3 제안된 모듈인 ADSO, Fusion Box, Dex 인코더가 낮은 데이터 환경에서 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ4 Dex 인코더를 통한 적응형 데이터 증강이 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 전체 데이터셋에서 86.2%의 AP50와 52.6%의 AP75를 기록하며, 히프 뼈 골절 검출 분야에서 새로운 최신 기술 수준을 수립한다.
• 라벨 데이터가 1%일 경우, mAP 39.9%와 AP50 79.2%를 기록하며, 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• Fusion Box 모듈의 임계값을 0.05로 설정할 경우 최적의 성능을 기록했으며, 기준 모델 대비 mAP 0.9% 향상되었다.
• ADSO 모듈의 신뢰도 임계값을 0.5로 설정할 경우 최적의 성능을 달성했고, 임계값 변화에 대해 뛰어난 강건성을 보였다.
• 세 개의 확장 블록(레이트 4, 6, 8)을 갖춘 Dex 인코더가 정확도와 계산 비용 사이의 최적 균형을 제공했다.
• 분석 실험 결과, ADSO, Fusion Box, Dex 인코더 세 모듈이 함께 기준 모델 대비 3.3%의 mAP 향상을 기록하며 전체적으로 기여했다.