[논문 리뷰] DeepRA: Predicting Joint Damage From Radiographs Using CNN with Attention

Neelambuj Chaturvedi|arXiv (Cornell University)|2021. 02. 13.

Rheumatoid Arthritis Research and Therapies인용 수 6

한 줄 요약

이 논문은 손과 발 레이저 영상에서 관절을 검출하고, Sharp/van der Heijde(SvH) 방법을 사용하여 관절 수준의 협착 및 부식 점수를 예측하는 이단계 CNN 기반 주의 메커니즘을 제안한다. 협착과 부식에 대해 각각 31%와 19% 향상된 가중치 RMSE를 달성하였고, 총 손상 예측의 절대 오차는 79% 감소시켰으며, 주의 맵을 통해 설명 가능성을 제공한다.

ABSTRACT

Joint damage in Rheumatoid Arthritis (RA) is assessed by manually inspecting and grading radiographs of hands and feet. This is a tedious task which requires trained experts whose subjective assessment leads to low inter-rater agreement. An algorithm which can automatically predict the joint level damage in hands and feet can help optimize this process, which will eventually aid the doctors in better patient care and research. In this paper, we propose a two-staged approach which amalgamates object detection and convolution neural networks with attention which can efficiently and accurately predict the overall and joint level narrowing and erosion from patients radiographs. This approach has been evaluated on hands and feet radiographs of patients suffering from RA and has achieved a weighted root mean squared error (RMSE) of 1.358 and 1.404 in predicting joint level narrowing and erosion Sharp van der Heijde (SvH) scores which is 31% and 19% improvement with respect to the baseline SvH scores, respectively. The proposed approach achieved a weighted absolute error of 1.456 in predicting the overall damage in hands and feet radiographs for the patients which is a 79% improvement as compared to the baseline. Our method also provides an inherent capability to provide explanations for model predictions using attention weights, which is essential given the black box nature of deep learning models. The proposed approach was developed during the RA2 Dream Challenge hosted by Dream Challenges and secured 4th and 8th position in predicting overall and joint level narrowing and erosion SvH scores from radiographs.

연구 동기 및 목표

• 손과 발 레이저 영상에서 류마티스성 관절염(RA)의 관절 수준 손상 예측을 자동화하여 방사선의사가 주관적이고 시간이 오래 걸리는 수작업 평가에 의존하는 것을 줄이기.
• 레이저 영상에서 레이블이 부여된 관절 위치의 부족을 해결하기 위해 RetinaNet 기반 객체 검출 모델을 사용해 손가락과 손목을 국소화하기.
• 주목적 기반 CNN을 사용하여 관절 협착 및 부식에 대한 Sharp/van der Heijde(SvH) 점수를 더 정확하게 예측하기.
• 주의 맵을 통해 모델의 설명 가능성을 제공하여 임상 적용에서 딥러닝 예측에 대한 신뢰를 높이기.
• 특히 총 손상 및 관절 수준 손상 예측에서 기준 모델을 능가하는 성능을 내기.

제안 방법

• 이중 단계 프레임워크를 사용: 첫 번째 단계에서 RetinaNet 객체 검출 모델이 레이저 영상에서 손가락과 손목을 국소화한다.
• 두 번째 단계에서 EfficientNet 및 DenseNet 백본을 갖춘 주관절 회귀 모델에 자가주의 모듈을 통합하여 협착과 부식에 대한 SvH 점수를 예측한다.
• 주의 메커니즘은 검출된 관절 내에서 중요한 영역에 집중하여 표현 학습과 해석 가능성을 향상시킨다.
• 주의 메커니즘은 CBAM 방식의 모듈을 통해 공간적 및 채널 기반 중요도에 따라 특징 재조정을 가능하게 한다.
• 모델은 RA 레이저 영상에서 미세조정되었으며, RA2 Dream 챌린지의 테스트 세트에서 가중치 RMSE와 절대 오차를 사용해 평가되었다.
• 주의 맵을 시각화하여 모델이 관절 공간과 부식 영역과 같은 생물학적으로 관련 있는 영역에 집중하고 있음을 확인한다.

실험 결과

연구 질문

• RQ1 객체 검출과 주의 기반 CNN을 조합한 이단계 딥러닝 프레임워크가 자동 RA 관절 손상 평가의 정확도를 향상시킬 수 있는가?
• RQ2 주의 메커니즘을 통합함으로써 레이저 영상에서 SvH 점수를 예측할 때 성능 향상과 해석 가능성 향상이 어느 정도 이루어지는가?
• RQ3 실제 관절 레이블이 없을 때 RetinaNet을 통한 관절 국소화가 정확한 후속 관절 수준의 손상 예측에 얼마나 효과적인가?
• RQ4 주의 맵이 모델 예측에 임상적으로 의미 있는 설명을 제공할 수 있는가, 이는 자동 평가에 대한 신뢰를 높일 수 있는가?
• RQ5 관절 검출과 주의 메커니즘의 통합이 이러한 구성 요소가 없는 기준 모델 대비 성능 향상에 상당한 기여를 하는가?

주요 결과

• 제안된 방법은 관절 협착에 대해 가중치 RMSE 1.358, 부식에 대해 1.404를 기록하여 각각 기준 모델 대비 31%와 19% 향상되었다.
• 모델은 총 RA 손상 예측의 가중치 절대 오차를 1.456으로 줄여 기준 모델의 7.023 대비 79% 향상시켰다.
• 관절 검출과 주의 기반의 EfficientNet 기반 모델이 모든 다른 아키텍처보다 뛰어나며, 총 손상 평가에서 4위, 관절 수준 평가에서 8위를 기록했다.
• 주의 맵은 손가락과 손목에서 관절 공간과 부식 영역과 같은 중요한 영역을 명확히 시각화하여 모델이 생물학적으로 관련 있는 특징에 집중하고 있음을 확인했다.
• 객체 검출과 주의 메커니즘의 통합은 성능 향상에 상당한 기여를 하였으며, 이러한 구성 요소 없이 미세조정된 DenseNet-169는 거의 향상되지 않았다.
• 주의 메커니즘은 내재된 설명 가능성을 제공하여 임상의가 입력 이미지의 주의 가중 영역을 검토함으로써 모델 예측을 검증할 수 있도록 했다.