[논문 리뷰] Sequential Rib Labeling and Segmentation in Chest X-Ray using Mask R-CNN

Jöran Wessel, Mattias P. Heinrich‬외 3명|arXiv (Cornell University)|2019. 08. 22.

COVID-19 diagnosis using AI참고 문헌 7인용 수 7

한 줄 요약

이 논문은 전후 경부 X선 영상에서 동시에 갈비뼈 검출, 분할 및 해부학적 레이블링을 수행하기 위한 새로운 순차적 마스크 R-CNN 프레임워크를 제안한다. 상하 갈비뼈의 분할 마스크를 입력으로 사용하는 갈비뼈 전용 앵커 박스와 순차적 처리 방식을 도입함으로써, 검출에 대해 평균 DICE 스코어 0.846, 분할에 대해 0.733을 기록하여 기존 마스크 R-CNN 및 애틀라스 기반 방법을 능가하는 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Mask R-CNN is a state-of-the-art network architecture for the detection and segmentation of object instances in the computer vision domain. In this contribution, it is used to localize, label and segment individual ribs in anterior-posterior chest X-ray images. For this purpose, several extensions have been made to the original architecture, in order to address the specific challenges of this application. This includes the use of rib specific networks, facilitating dedicated anchor boxes sampled from a training set, as well as a sequential processing of all ribs. Here, the segmentation result of the upper neighbor rib is used as additional input to the network. This approach is the first addressing both rib segmentation and anatomical labeling in chest radiographs. The results are comparable or even better than existing methods aiming only at segmentation.

연구 동기 및 목표

• 흉부 X선 영상에서 동시에 갈비뼈 분할 및 해부학적 레이블링을 수행할 수 있는 방법의 부족을 해결한다.
• 후전경 X선 영상에서 흔히 나타나는 저대비도, 높은 유사성의 갈비뼈 구조에서 갈비뼈 검출 및 분할 정확도를 향상시킨다.
• 질병 평가 및 종기적 영상 비교와 같은 임상적 응용을 위한 실시간, 인스턴스 수준의 갈비뼈 분석을 가능하게 한다.
• 영상에서 해부학적 유사성과 겹치는 影이 많아지는 문제로 인한 갈비뼈 레이블링 과제를 해결한다.

제안 방법

• 특징 추출을 위해 백본으로 ResNet50와 피처 피라미드 네트워크를 사용한 수정된 마스크 R-CNN를 적용한다.
• 기본 제공된 바운딩 박스에 대해 평균 이동 알고리즘을 적용하여 일반적인 갈비뼈 위치를 고려한 갈비뼈 전용 앵커 박스를 설계한다.
• 각 갈비뼈의 네트워크가 상부 갈비뼈의 분할 마스크를 추가 입력 채널로 사용하는 순차적 처리 파이프라인을 도입한다.
• 174장의 이미지 데이터셋에서 일반화 능력을 향상시키기 위해 애핀 변환 데이터 증강을 적용한다.
• 변동하는 X선 영상 크기를 처리하고 학습 안정성을 향상시키기 위해 각 이미지당 진짜 바운딩 박스를 정규화한다.
• 각 갈비뼈의 정확도 향상을 위해 갈비뼈 2번부터 9번까지 별도의 네트워크를 학습하며, 상부 갈비뼈의 분할 출력을 세 번째 입력 채널로 활용한다.

실험 결과

연구 질문

• RQ1 수정된 마스크 R-CNN 아키텍처가 흉부 X선 영상에서 동시에 갈비뼈 검출, 분할 및 해부학적 레이블링을 달성할 수 있는가?
• RQ2 상부 갈비뼈의 분할 마스크를 입력으로 통합할 경우 각 갈비뼈의 검출 및 분할 정확도가 향상되는가?
• RQ3 기본 앵커 생성 방식과 비교해 갈비뼈 전용 앵커 박스 사용이 검출 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 기존의 애틀라스 기반 갈비뼈 검출 방법보다 정확도와 속도 면에서 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 방법은 갈비뼈 검출에 대해 평균 DICE 스코어 0.846, 인스턴스 분할에 대해 0.733을 기록하여 원본 마스크 R-CNN 대비 약 5% 향상된 성능을 보였다.
• 상부 갈비뼈의 분할 마스크를 순차적으로 통합함으로써 가짜 양성 결과가 크게 감소하고 각 갈비뼈의 국소화 정확도가 향상되었다.
• 애틀라스 기반 갈비뼈 검출 방법보다 성능이 뛰어나 0.95의 정확도, 0.82의 민감도, 0.98의 특이도를 기록하였으며, 기준선 대비 각각 0.86, 0.75, 0.92를 기록한 것보다 높았다.
• 모델는 실시간 추론 성능을 확보하여 임상 워크플로우에 실질적인 구현이 가능했다.
• 평균 이동 군집화를 통해 유도된 갈비뼈 전용 앵커 박스 사용은 일반 앵커 생성 방식에 비해 국소화 정확도 향상에 기여하였다.
• 5중 교차 검증을 통해 모든 폴드에서 일관된 성능을 확보하였으며, 갈비뼈 1~9의 분할 DICE 스코어는 좌측 0.732±0.207, 우측 0.734±0.211을 기록하였다.