[논문 리뷰] Assessing Knee OA Severity with CNN attention-based end-to-end architectures

Marc Górriz, Joseph Antony외 3명|arXiv (Cornell University)|2019. 08. 23.

Osteoarthritis Treatment and Mechanisms참고 문헌 33인용 수 19

한 줄 요약

이 논문은 골관절염(OA) 중증도 평가를 위한 무릎 X선에서 관련 영역(ROIs)을 자동으로 국소화하고 집중할 수 있는 학습 가능한 주의 모듈을 갖춘 엔드 투 엔드 CNN 아키텍처를 제안한다. 사전 훈련된 CNN(VGG-16 등)에 다중 척도 주의 메커니즘을 통합함으로써, OAI 및 MOST 데이터셋에서 인간 수준의 일치에 가까운 코헨의 카파 0.63을 달성하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This work proposes a novel end-to-end convolutional neural network (CNN) architecture to automatically quantify the severity of knee osteoarthritis (OA) using X-Ray images, which incorporates trainable attention modules acting as unsupervised fine-grained detectors of the region of interest (ROI). The proposed attention modules can be applied at different levels and scales across any CNN pipeline helping the network to learn relevant attention patterns over the most informative parts of the image at different resolutions. We test the proposed attention mechanism on existing state-of-the-art CNN architectures as our base models, achieving promising results on the benchmark knee OA datasets from the osteoarthritis initiative (OAI) and multicenter osteoarthritis study (MOST). All code from our experiments will be publicly available on the github repository: https://github.com/marc-gorriz/KneeOA-CNNAttention

연구 동기 및 목표

• 자동화된 무릎 OA 중증도 평가에서 별도의 무릎 관절 국소화 단계가 필요 없도록 하기 위해.
• CNN 내 다중 척도에서 세밀한 주의 기반 특징 패tern을 학습함으로써 분류 성능 향상시키기 위해.
• 모델의 해석 가능성과 강건성을 향상시키기 위해 학습 가능한 비지도 주의 메커니즘 개발하기 위해.
• 기준 데이터셋(OAI 및 MOST)에서 방법 평가 및 기존 최신 기술 대비 비교하기 위해.
• 엔드 투 엔드 훈련과 다중 손실 최적화가 주의 마스크 품질 및 전체 성능 향상에 기여함을 보여주기 위해.

제안 방법

• CNN 파이프라인 내 다중 층 및 척도에서 2차원 특징 맵에 작용하는 학습 가능한 주의 모듈을 도입한다.
• 주의 모듈을 학습 가능한 게이트 메커니즘으로 적용하여 정보가 풍부한 영역을 강조하는 공간 주의 맵을 생성한다.
• 주요 분류 헤드와 다양한 깊이를 가진 다수의 주의 브랜치를 동시에 최적화하기 위해 다중 손실 훈련 전략을 사용한다.
• 수렴 속도를 균형 잡고 특징 추상화를 향상시키기 위해 주의 브랜치의 가중 융합(예: 깊은 브랜치에 대해 w1 = 0.8)을 시행한다.
• 기존 최신 기술 CNN(VGG-16 등)을 중간 층에 주의 모듈을 삽입함으로써 아키텍처 전체를 재구성하지 않고도 적응한다.
• 분류 및 KL 등급의 회귀를 위해 교차 엔트로피 손실과 평균 제곱 오차 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 학습 가능한 주의 메커니즘을 갖춘 엔드 투 엔드 CNN이 무릎 OA 중증도 평가에서 두 단계의 국소화-분류 파이프라인을 능가할 수 있는가?
• RQ2 다양한 네트워크 깊이에서의 다중 척도 주의가 특징 학습 및 모델 성능 향상에 어떻게 기여하는가?
• RQ3 주의 모듈이 관절 위치의 레이블이 없는 비지도 ROI 탐지기로 작용할 수 있는 정도는 어느 정도인가?
• RQ4 다수의 주의 브랜치에 대한 다중 손실 훈련이 일반화 성능 향상 및 방사선의사와의 높은 일치도를 이끌어낼 수 있는가?
• RQ5 제안된 방법이 KL 평가에서 인간 수준의 독자 간 신뢰도에 비해 어떻게 비교되는가?

주요 결과

• 제안된 주의 기반 엔드 투 엔드 모델은 OAI 데이터셋에서 테스트 정확도 64.3%를 달성하여 이전 최신 기술 방법을 능가했다.
• 모델는 방사선의사의 레이블과 함께 코헨의 카파 0.63을 기록하여 다소 높은 일치도를 보이며 인간 수준의 신뢰도에 가까워졌다.
• 더 깊은 주의 브랜치의 기여도를 감소시킨 다중 손실 전략(w1 = 0.8)을 사용할 경우 최고의 성능를 달성했으며, 이는 마스크 정밀도 향상과 관련이 있었다.
• 별도의 무릎 관절 국소화 단계가 필요 없어져 훈련 복잡도와 수동 레이블링에 대한 의존도가 감소했다.
• 주의 모듈은 감독 없이도 관련 해부학적 구조(예: 관절 간극, 골성 비프로)를 효과적으로 국소화했으며, 노이즈 및 변동성에 강건함을 입증했다.
• 이 방법은 다양한 기본 아키텍처에 일반화되며, Antony 등(2017) 및 주의 모듈 없이 미세조정된 VGG-16과 같은 기준 모델보다 일관되게 향상된 성능을 보였다.