[논문 리뷰] 3D multirater RCNN for multimodal multiclass detection and characterisation of extremely small objects

Carole H. Sudre, Beatriz Gómez Ansón외 8명|arXiv (Cornell University)|2018. 12. 21.

Advanced Neural Network Applications참고 문헌 5인용 수 12

한 줄 요약

이 논문은 뇌 소혈관질환에서의 확대된 혈관주위공간(EPVS)과 라쿠너와 같은 다중 모odal MRI 데이터 내 초소형 물체(ESOs)를 검출하고 특성화하기 위해 3D 다중 평가자 RCNN 프레임워크를 제안한다. 다중 평가자 레이블링과 3D HighResNet 백본, 적응형 영역 제안 및 거리 회귀를 통합함으로써, 높은 평가자 간 이질성과 극심한 클래스 불균형에도 불구하고 ESO 검출에 대해 72.7%의 민감도를 달성한다.

ABSTRACT

Extremely small objects (ESO) have become observable on clinical routine magnetic resonance imaging acquisitions, thanks to a reduction in acquisition time at higher resolution. Despite their small size (usually $

연구 동기 및 목표

• 뇌 소혈관질환의 맥락에서 3D 다중 모달 MRI 내 초소형 물체(ESOs)를 검출하고 특성화하는 데 도전하는 것.
• EPVS와 라쿠너와 같은 ESO의 수동 레이블링에서 발생하는 높은 평가자 간 이질성으로 인해 발생하는 노이즈가 많은 골드 표준 문제를 해결하는 것.
• 다양한 영상 모odal리티(T1, FLAIR, T2)를 통해 ESO를 동시에 검출하고 분류하는 딥러닝 프레임워크를 개발하며, 평가자 불확실성을 고려하는 것.
• 체적보다 작은 크기와 형태의 변동성이 큰 ESO를 자주 놓치는 문제를 해결하기 위해 검출 민감도를 향상시키는 것.
• 다중 평가자 공감과 이견을 모델 훈련 및 추론에 통합하여 신뢰도 높은 자동 신체형 분석을 가능하게 하는 것.

제안 방법

• 다중 모달 MRI(T1, FLAIR, T2)에서 특징을 추출하기 위해 3D HighResNet 백본을 사용하여 2D RCNN 프레임워크를 3D로 적응시킴.
• 3D 그리드에 있는 앵커를 사용하여 후보 박스를 생성하는 3D 영역 제안 네트워크(RPN)를 구현하며, 스케일 및 위치 회귀를 통해 ESO를 국소화함.
• 각 병렬체의 거리에서 가장 가까운 ESO 경계까지의 부호 거리를 예측함으로써 국소화를 안내하는 거리 맵 회귀 헤드를 도입함.
• 각 평가자의 레이블을 확률적 입력으로 모델링하여 평가자 간 일치도를 반영하는 신뢰도 점수를 통합함.
• 분류, 회귀, 거리 맵 감독을 조합한 다중 작업 손실을 사용하며, 극심한 전경-배경 및 클래스 불균형을 처리하기 위해 클래스 균형 샘플링을 적용함.
• 작은 희귀 객체 인스턴스에 대한 훈련을 안정화시키기 위해 데이터 증강 및 학습률 스케줄링을 적용함.

실험 결과

연구 질문

• RQ1 높은 평가자 간 이질성이 존재하는 다중 모달 MRI에서 3D RCNN 프레임워크를 초소형 물체(ESOs) 검출 및 특성화에 효과적으로 적응시킬 수 있는가?
• RQ2 공감과 이견을 모두 고려한 다중 평가자 레이블링을 통합할 경우 검출의 강건성과 신뢰도가 어떻게 향상되는가?
• RQ3 거리 회귀와 적응형 영역 제안이 10 볼륨 이하의 크기의 ESO 국소화에 얼마나 기여하는가?
• RQ4 평가자 불확실성은 특히 예측된 박스와 진짜 박스 간 IoU(교차율) 측면에서 검출 성능과 어떻게 관련되는가?
• RQ5 모델은 수동 평가자 공감에서 빠졌던 ESO를 검출할 수 있으며, 이러한 검출 결과는 생물학적으로 타당한가?

주요 결과

• 모델은 두 명의 테스트 대상에서 ESO 검출에 대해 72.7%의 민감도를 달성하여 극심한 클래스 불균형에도 불구하고 강건성을 입증함.
• 거짓 음성은 진짜 양성보다 유의적으로 작았음(p < 0.00001), 이는 모델이 가장 작은 ESO에 대해 더 어려움을 겪고 있음을 시사함.
• 평가자 간 일치도와 검출 오버랩 간 유의미한 상관관계가 발견됨(p = 0.002), 완전히 일치한 경우 중앙값 IoU는 59%였고, 불확실한 경우는 30%였음.
• 골드 표준에 존재하지 않지만 이후 임상의가 유효한 EPVS로 확인한 ESO를 모델이 검출함으로써, 수동 레이블링보다 더 높은 민감도를 확보함.
• 확률적 분류 출력을 통해 낮은 신뢰도(p < 0.5)를 가진 박스는 주로 불확실하거나 잘못된 것으로 나타났고, 높은 신뢰도 예측(p ≥ 0.5)은 더 신뢰할 수 있었음.
• 거리 맵 회귀의 사용은 특히 표준 방법으로는 세분화가 어려운 작은 비정형 형태의 ESO에 대해 국소화 정확도를 향상시킴.