[논문 리뷰] Residual Attention based Network for Hand Bone Age Assessment

Eric Hsiao‐Kuang Wu, Bin Kong외 9명|arXiv (Cornell University)|2018. 12. 21.

Forensic Anthropology and Bioarchaeology Studies참고 문헌 10인용 수 6

한 줄 요약

이 논문은 손 분할을 위해 Mask R-CNN을, 뼈 연령 평가를 위해 잔차 주의망을 조합한 통합 딥러닝 프레임워크를 제안하며, X-ray 아티팩트로부터의 간섭을 줄이고 핵심 해부학적 영역에 집중함으로써 정확도를 크게 향상시킨다. 이 방법은 RSNA 소아 뼈 연령 데이터셋에서 평균 절대 오차(MAE) 7.38개월을 달성하여 이전 최고 성능 방법을 능가한다.

ABSTRACT

Computerized automatic methods have been employed to boost the productivity as well as objectiveness of hand bone age assessment. These approaches make predictions according to the whole X-ray images, which include other objects that may introduce distractions. Instead, our framework is inspired by the clinical workflow (Tanner-Whitehouse) of hand bone age assessment, which focuses on the key components of the hand. The proposed framework is composed of two components: a Mask R-CNN subnet of pixelwise hand segmentation and a residual attention network for hand bone age assessment. The Mask R-CNN subnet segments the hands from X-ray images to avoid the distractions of other objects (e.g., X-ray tags). The hierarchical attention components of the residual attention subnet force our network to focus on the key components of the X-ray images and generate the final predictions as well as the associated visual supports, which is similar to the assessment procedure of clinicians. We evaluate the performance of the proposed pipeline on the RSNA pediatric bone age dataset and the results demonstrate its superiority over the previous methods.

연구 동기 및 목표

• 전체 이미지 기반 딥러닝 모델이 X-ray 태그 및 기타 아티팩트로 인해 간섭을 받는 뼈 연령 평가의 한계를 해결하기 위해.
• 손의 주요 해부학적 구조인 캄팔, 중수골, 손가락뼈에 집중함으로써 임상적 Tanner-Whitehouse 워크플로우를 모방하기 위해.
• 동시에 손을 분할하고 뼈 연령을 예측할 수 있는 엔드 투 엔드 학습 가능한 파이프라인을 개발하기 위해.
• 주의 기반 특징 학습 이전에 관련된 손 영역을 격리함으로써 정확도와 강인성을 향상시키기 위해.
• 주의 메커니즘이나 성별 입력이 뼈 연령 예측에 필수적인지 검증하기 위해.

제안 방법

• 백그라운드 간섭 요소인 X-ray 태그 및 주석 등을 제거하기 위해 픽셀 단위의 손 분할을 수행하기 위해 Mask R-CNN 서브넷을 사용한다.
• 분할된 손 이미지가 잔차 주의망에 입력되며, 이는 여섯 개인 잔차 주의 모듈을 포함하여 진단적으로 유의미한 뼈 영역에 집중한다.
• 각 잔차 주의 모듈은 트렁크 브랜치와 소프트 마스크 브랜치로 구성되며, 중요 특징을 강조하기 위해 공간 주의 가중치를 학습한다.
• 주의 메커니즘은 칸팔 및 손가락뼈와 같은 영역을 동적으로 강조하여 방사선 전문의의 집중 방식을 모방한다.
• 전체 파이프라인은 엔드 투 엔드로 학습되어 분할 및 연령 예측의 공동 최적화를 가능하게 한다.
• 소프트 마스크 브랜치에서 생성된 시각적 주의 맵은 해석 가능성과 임상적 일치성을 제공한다.

실험 결과

연구 질문

• RQ1 손 분할과 주의 기반 특징 학습을 통합한 딥러닝 프레임워크는 전체 이미지 기반 접근 방식에 비해 뼈 연령 평가 정확도를 향상시킬 수 있는가?
• RQ2 Mask R-CNN를 통해 X-ray 태그와 같은 배경 아티팩트를 제거하면 예측 오차가 유의미하게 감소하는가?
• RQ3 캄팔과 같은 진단적으로 중요한 뼈 구조에 집중하기 위해 잔차 네트워크 내 주의 메커니즘이 필수적인가?
• RQ4 성별을 입력으로 포함할 경우 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ5 네트워크에서 생성된 주의 맵은 핵심 뼈 성숙 지표에 대한 임상 지식과 일치하는가?

주요 결과

• 제안된 방법은 RSNA 소아 뼈 연령 데이터셋에서 평균 절대 오차(MAE) 7.38개월을 달성하여 이전 최고 성능 방법의 MAE 8.08개월을 능가했다.
• Mask R-CNN 서브넷을 제거하면 MAE가 12개월로 증가하여 배경 억제가 견고한 성능을 위해 필수적임을 입증했다.
• 잔차 주의망에서 생성된 주의 맵은 초기 및 중간 주의 모듈에서 캄팔에 높은 집중을 보이며 임상 지식과 일치한다.
• Att3_2 및 Att3_3 모듈의 주의 기능을 제거하면 MAE가 1.69개월 증가하여 주의 메커니즘이 정확한 예측에 필수적임을 확인했다.
• 성별 입력을 제외하면 MAE가 10개월로 증가하여 성별이 정확한 뼈 연령 추정에 중요한 요소임을 시사했다.
• 모델는 방사선 진단 관행과 일치하는 해석 가능한 주의 맵을 생성하여 임상적 신뢰도와 투명성을 향상시켰다.