[논문 리뷰] Shoulder Implant X-Ray Manufacturer Classification: Exploring with Vision Transformer

Meng Zhou, Shanglin Mo|arXiv (Cornell University)|2021. 04. 15.

Advanced X-ray and CT Imaging참고 문헌 7인용 수 7

한 줄 요약

이 논문은 의료 영상 분류 작업에서 데이터가 제한된 상황에서도 효과적인 성능을 보여주는 비전 트랜스포머(ViT)의 새로운 응용을 제안한다. 이는 제조사가 알려지지 않은 어깨 임플란트 X-ray의 제조사를 분류하는 데 중점을 두며, 이는 골절 치료 계획 수립에 있어 핵심적인 임상 과제이다. 특화된 X-ray 데이터셋을 기반으로 미세조정된 ViT 아키텍처를 사용하여, 제조사 분류 작업에서 높은 정확도를 달성하였다. 이는 ViT가 제한된 데이터로도 의료 영상 분류 과제에서 효과적임을 입증한다.

ABSTRACT

Shoulder replacement surgery, also called total shoulder replacement, is a common and complex surgery in Orthopedics discipline. It involves replacing a dead shoulder joint with an artificial implant. In the market, there are many artificial implant manufacturers and each of them may produce different implants with different structures compares to other providers. The problem arises in the following situation: a patient has some problems with the shoulder implant accessory and the manufacturer of that implant maybe unknown to either the patient or the doctor, therefore, correctly identification of the manufacturer is the key prior to the treatment. In this paper, we will demonstrate different methods for classifying the manufacturer of a shoulder implant. We will use Vision Transformer approach to this task for the first time ever

연구 동기 및 목표

• 제조사가 알려지지 않은 어깨 임플란트의 제조사를 식별하는 임상 과제를 해결함으로써, 적절한 치료 계획 수립에 기여하고자 한다.
• 비전 트랜스포머(ViT)가 어깨 임플란트 X-ray를 제조사별로 분류하는 데의 가능성과 성능을 탐색하고자 한다.
• ViT 기반 분류 성능을 기존의 전통적 방법과 비교하여, 임플란트 식별을 위한 의료 영상 분석 분야에서의 잠재력을 입증하고자 한다.
• 향후 딥러닝을 활용한 임플란트 제조사 분류 연구를 위한 새로운 벤치마크와 데이터셋을 기여하고자 한다.

제안 방법

• 연구는 입력 X-ray 영상을 고정 크기의 패치로 나누고, 다중 헤드 자기주의 메커니즘을 적용하는 비전 트랜스포머(ViT) 모델을 사용한다.
• 공간 정보를 유지하기 위해 패치 임베딩에 위치 임베딩을 추가하여, 모델이 이미지 전반에 걸쳐 글로벌 종속성을 학습할 수 있도록 한다.
• 맞춤형 어깨 임플란트 X-ray 데이터셋을 기반으로 ViT를 미세조정하였으며, 일반화 성능 향상을 위해 데이터 증강 기법을 적용하였다.
• 모델은 다양한 제조사에 해당하는 고정된 카테고리로 나누어진 X-ray를 분류하도록 훈련되었다.
• 최종 제조사 예측을 생성하기 위해 [CLS] 토큰 표현 위에 분류 헤드를 추가하였다.
• 모델은 보류된 테스트 세트에서 정확도, 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하여 평가되었다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머는 높은 정확도로 어깨 임플란트 제조사를 X-ray 영상에서 효과적으로 분류할 수 있는가?
• RQ2 이 특수한 의료 영상 과제에서 ViT 성능은 기존의 컨volutional 네트워크(CNN) 기반 모델과 비교해 어떻게 다른가?
• RQ3 데이터 증강과 미세조정이 ViT가 임플란트 변형에 걸쳐 일반화 능력을 향상시키는 데 어떤 영향을 미치는가?
• RQ4 제한된 의료 영상 데이터에서 ViT는 임플란트 제조사 분류 맥락에서 분류 가능한 특징을 효과적으로 학습할 수 있는가?

주요 결과

• 비전 트랜스포머는 어깨 임플란트 X-ray 분류 과제에서 테스트 정확도 94.2%를 달성하여 뛰어난 성능을 보였다.
• 동일한 데이터셋에서 ViT는 정확도와 강건성 면에서 기준 기반 컨volutional 신경망 모델을 모두 앞섰다.
• 모델은 다양한 제조사의 임플란트에 걸쳐 일관된 성능을 보이며 효과적인 일반화 능력을 보였다.
• 데이터 증강은 특히 낮은 빈도로 나타나는 임플란트 유형에 대해 모델의 일반화 능력을 크게 향상시켰다.
• ViT가 생성한 어텐션 맵은 임플란트의 관련 해부학적 및 구조적 특징을 강조하여 해석 가능성을 제공하였다.
• 본 연구는 비전 트랜스포머를 어깨 임플란트 제조사 분류에 적용한 첫 번째 알려진 사례를 확립하였으며, 의료 영상 분야의 새로운 연구 방향을 열었다.