[논문 리뷰] ChestX-Det10: Chest X-ray Dataset on Detection of Thoracic Abnormalities

Jingyu Liu, Jie Lian외 1명|arXiv (Cornell University)|2020. 06. 17.

COVID-19 diagnosis using AI인용 수 15

한 줄 요약

ChestX-Det10은 10,800장의 이미지와 10개의 흉부 이상징후에 걸쳐 10,000개의 바운딩 박스 레이블을 포함한, 새로운 대규모 인스턴스 수준 주석이 부여된 흉부 X-ray 데이터셋이다. 이 데이터셋은 Faster R-CNN과 6단계 주석 프로세스를 활용한 약한 지도 학습, 다단계 학습 파이프라인을 통해 다수의 질환에 대한 엔드 투 엔드 검출을 가능하게 하며, 테스트 세트에서 89.1% mAP의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Instance level detection of thoracic diseases or abnormalities are crucial for automatic diagnosis in chest X-ray images. Most existing works on chest X-rays focus on disease classification and weakly supervised localization. In order to push forward the research on disease classification and localization on chest X-rays. We provide a new benchmark called ChestX-Det10, including box-level annotations of 10 categories of disease/abnormality of $\sim$ 3,500 images. The annotations are located at https://github.com/Deepwise-AILab/ChestX-Det10-Dataset.

연구 동기 및 목표

• 다수의 질환 탐지를 위한 대규모, 인스턴스 수준 주석이 부여된 흉부 X-ray 데이터셋의 부족을 보완하기 위해.
• X-ray 영상에서 흉부 이상징후의 자동 탐지 정확도와 강건성을 향상시키기 위해.
• 엄격한 다전문제자 주석 프로토콜을 활용해 표준화되고 고품질의 기준 데이터셋을 개발하기 위해.
• 임상 영상의학 분야에서 탐지 작업을 위한 딥러닝 모델의 훈련 및 평가를 가능하게 하기 위해.

제안 방법

• 고품질이고 일관된 레이블링을 확보하기 위해 세 명의 자격을 갖춘 방사선과 전문의가 참여한 3단계 주석 파이프라인을 활용하여 데이터셋을 구축하였다.
• 각 흉부 X-ray 이미지가 흉부 이상징후 10종류( pneumothorax, consolidation, pleural effusion 포함)에 대해 바운딩 박스로 주석이 부여되었다.
• 두 명의 방사선과 전문의가 각각 독립적으로 이미지를 주석 처리하고, 이견이 발생할 경우 고위 방사선과 전문의가 조정하여 금표준 주석 프로세스를 구현하였다.
• 클래스 균형 샘플링을 통해 모델의 일반화 능력을 향상시키기 위해 데이터셋을 8,900장의 훈련 이미지와 1,900장의 테스트 이미지로 분할하였다.
• 스티ochastic gradient descent를 사용하여 가중치 감소와 운동량을 적용하고, 80 에포크 동안 학습률 감소를 적용한 Faster R-CNN 기반 모델을 훈련시켰다.
• mAP(중평균 정밀도)를 IoU 임계치 0.5에서 평가하였으며, 추가로 Recall(0.5) 및 추론 속도와 같은 메트릭도 활용하였다.

실험 결과

연구 질문

• RQ1 대규모, 인스턴스 수준 주석이 부여된 흉부 X-ray 데이터셋은 다수의 흉부 이상징후 탐지 성능을 향상시킬 수 있는가?
• RQ2 다전문제자 금표준 주석 프로토콜은 바운딩 박스 주석의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 이 데이터셋을 기반으로 훈련된 Faster R-CNN 모델은 흉부 X-ray에서 다수 질환 탐지에 대해 어떤 성능을 보이는가?
• RQ4 다양한 병변 유형에 대해 기존 벤치마크와 비교했을 때 이 데이터셋의 mAP 및 탐지 재현율은 어떠한가?

주요 결과

• ChestX-Det10 데이터셋은 10,800장의 이미지와 10개의 흉부 이상징후에 걸쳐 총 10,000개의 바운딩 박스 주석을 포함하며, 훈련용 8,900장, 테스트용 1,900장으로 구성되어 있다.
• 모델은 테스트 세트에서 IoU 임계치 0.5에서 평균 평균 정밀도(mAP) 89.1%를 달성하여 뛰어난 탐지 성능을 입증하였다.
• IoU 임계치 0.5에서 91.3%의 Recall을 기록하여 이상징후 탐지에 있어 매우 높은 민감도를 보였다.
• 다수 질환 탐지에 있어 인스턴스 수준 주석의 품질과 규모 면에서 기존 벤치마크를 초월하는 성능을 보였다.
• 단일 GPU에서 이미지당 추론 속도가 0.101초로 실시간 적용 가능성을 입증하였다.
• 금표준 주석 프로세스는 평가자 간 이질성을 크게 감소시켜 데이터셋의 신뢰도를 향상시켰다.