[논문 리뷰] Deep Learning for Rheumatoid Arthritis: Joint Detection and Damage Scoring in X-rays

Krzysztof Maziarz, Anna Krason외 1명|arXiv (Cornell University)|2021. 04. 28.

Radiomics and Machine Learning in Medical Imaging참고 문헌 23인용 수 4

한 줄 요약

이 논문은 단일 컨volution 신경망을 사용하여 손과 발의 X선 영상에서 관절을 동시에 검출하고 류마티스성 관절염 손상(협착 및 침식)을 평가하는 다중 작업 딥러닝 모델을 제시한다. 분류 및 회귀 신호를 결합하기 위해 국소 레이블 스무딩을 도입함으로써, 모델은 상대 오차를 5% 감소시켰으며, 관절 간격 협착 및 침식 평가에서 각각 RA2 DREAM 챌린지에서 4위 및 5위를 기록하였다.

ABSTRACT

Recent advancements in computer vision promise to automate medical image analysis. Rheumatoid arthritis is an autoimmune disease that would profit from computer-based diagnosis, as there are no direct markers known, and doctors have to rely on manual inspection of X-ray images. In this work, we present a multi-task deep learning model that simultaneously learns to localize joints on X-ray images and diagnose two kinds of joint damage: narrowing and erosion. Additionally, we propose a modification of label smoothing, which combines classification and regression cues into a single loss and achieves 5% relative error reduction compared to standard loss functions. Our final model obtained 4th place in joint space narrowing and 5th place in joint erosion in the global RA2 DREAM challenge.

연구 동기 및 목표

• X선 영상에서의 관절 검출 및 손상 평가를 통해 류마티스성 관절염 진단을 자동화하는 것.
• 전문가 의존적 평가에 기반한 수동 방사선 검사의 주관성과 시간 소모 문제를 해결하기 위해 데이터 기반 접근 방식으로 대체하는 것.
• 공통 특징 추출을 통한 다중 작업 학습을 활용하여 저자료 의료 영상에서의 모델 성능 향상과 일반화 능력을 향상시키는 것.
• 분류 및 회귀 신호를 통합하는 새로운 레이블 스무딩 기법을 통해 SvH 점수 예측 오차를 감소시키는 것.

제안 방법

• 관절 검출, 침식, 협착 평가를 위한 공유된 특징 추출을 갖춘 U-Net 유사 인코더-디코더 아키텍처를 사용한다.
• 관절 중심 주석은 두 반경 매개변수(r 및 R)를 사용하여 세그멘테이션 마스크로 변환되며, 이는 관절 영역의 픽셀 단위 분류를 가능하게 한다.
• 공간 인식 능력과 정확도를 향상시키기 위해 입력에 좌표 채널(CoordConv)을 추가한다.
• 최종 특징 맵은 관절 검출, 침식, 협착 평가를 위한 세 개의 별도한 픽셀 단위 분류기로 입력된다.
• 교차 엔트로피 손실에 국소 레이블 스무딩을 적용하여, 10%의 확률 질량을 인접한 클래스로 재분배함으로써 회귀 목표와 더 잘 일치시킨다.
• 추론 과정에서 SvH 점수는 모델 출력의 소프트맥스 확률을 가중 평균하여 계산된다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 손과 발의 X선 영상에서 관절 검출 및 이중 손상 평가(협착 및 침식)를 효과적으로 수행할 수 있는가?
• RQ2 세그멘테이션 마스크를 통한 공간 국소화 신호 통합이 저자료 의료 영상에서의 성능 향상에 어떤 영향을 미치는가?
• RQ3 국소 레이블 스무딩—분류 및 회귀 신호를 융합하는 기법—은 SvH 점수 예측 오차 감소에 얼마나 기여하는가?
• RQ4 공유된 특징 추출을 통한 다중 작업 학습은 별도의 모델 대비 정확도 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 테스트 세트에서 관절 간격 협착에 대해 평균 RMSE가 0.4075, 관절 침식에 대해 0.4607을 기록하여 각각 RA2 DREAM 챌린지에서 4위 및 5위를 기록하였다.
• 국소 레이블 스무딩은 표준 교차 엔트로피 손실 대비 약 5%의 상대 오차 감소를 보이며, 회귀 기반 평가와의 더 나은 일치를 입증하였다.
• R을 40로 고정했을 때 최적의 세그멘테이션 반경(r)은 약 32 픽셀로 나타나, 공간 마스크 설계에 민감함을 보였다.
• 모델 성능은 데이터 증강에 대해 강건했으며, 단순한 엔드 투 엔드 다중 작업 아키텍처로도 강력한 성능을 달성했고, 일부 경우에서 더 복잡한 파이프라인을 능가했다.
• 제거 실험을 통해 국소 레이블 스무딩과 세그멘테이션 마스크 반경이 최종 모델 정확도에 큰 영향을 미치는 핵심 하이퍼파라미터임을 확인하였다.