[논문 리뷰] Classification of Radiology Reports Using Neural Attention Models

Bonggun Shin, Falgun H. Chokshi외 2명|arXiv (Cornell University)|2017. 08. 22.

Topic Modeling참고 문헌 27인용 수 3

한 줄 요약

이 논문은 복합 신경망에 새로운 주의 메커니즘을 도입하여 뇌 CT 영상 보고서를 다섯 가지 임상 카테고리로 분류하는 모델을 제안한다. 이는 기존의 비신경망 모델보다 높은 정확도를 달성하면서도 핵심 진단 용어를 강조하는 해석 가능한 히트맵을 제공한다. 이 방법은 대규모 이중 애드지케이션된 데이터셋에서 분류 성능을 향상시키면서도 주의 기반의 근거를 통해 모델의 투명성을 높인다.

ABSTRACT

The electronic health record (EHR) contains a large amount of multi-dimensional and unstructured clinical data of significant operational and research value. Distinguished from previous studies, our approach embraces a double-annotated dataset and strays away from obscure "black-box" models to comprehensive deep learning models. In this paper, we present a novel neural attention mechanism that not only classifies clinically important findings. Specifically, convolutional neural networks (CNN) with attention analysis are used to classify radiology head computed tomography reports based on five categories that radiologists would account for in assessing acute and communicable findings in daily practice. The experiments show that our CNN attention models outperform non-neural models, especially when trained on a larger dataset. Our attention analysis demonstrates the intuition behind the classifier's decision by generating a heatmap that highlights attended terms used by the CNN model; this is valuable when potential downstream medical decisions are to be performed by human experts or the classifier information is to be used in cohort construction such as for epidemiological studies.

연구 동기 및 목표

• 기존의 비신경망 기반 방법보다 더 높은 정확도를 달성하는 딥 러닝 모델을 개발하는 것.
• 보고서 내에서 임상적으로 관련성이 높은 용어를 강조하는 주의 메커니즘을 도입하여 모델의 해석 가능성 향상.
• 규칙 기반 및 희박 벡터 모델의 한계를 보완하기 위해 밀도 있는 워드 임베딩과 맥락 이해 능력을 활용하는 것.
• 의식 수준이 변화한 ICU 환자로부터의 뇌 CT 보고서 500건으로 구성된 대규모 이중 애드지케이션된 데이터셋에서 모델 평가.
• 주의 메커니즘이 예측에 대한 근거를 제공할 수 있음을 입증하여 임상 의사결정 지원 및 코hort 구성에 기여할 수 있음을 보여주는 것.

제안 방법

• 딥 러닝 모델은 희박한 n-그램 표현 대신 밀도 있는 워드 임베딩을 사용하여 영상 보고서의 의미적 맥락을 포착한다.
• 개별 단어에 대한 가중치를 할당하여 분류에 가장 관련성이 높은 단어를 강조하는 주의 메커니즘을 컨볼루션 신경망(CNN)에 통합한다.
• 주의 메커니즘이 예측 과정에서 모델이 집중하는 용어를 시각화하는 히트맵을 생성하여 해석 가능성 향상.
• 모델은 두 명의 방사선의사가 애드지케이션한 500건의 뇌 CT 보고서로 구성된 대규모 이중 애드지케이션된 데이터셋에서 훈련 및 평가된다.
• 다섯 가지의 구분된 분류 작업이 정의된다: 뇌내 출혈, 병변 효과, 중선 이동, 수두증, 두개골 골절.
• 성능 최적화를 위해 다양한 하이퍼파라미터 설정에서 튜닝을 수행하며, 개발 세트 성능 기반으로 최고의 모델을 선별한다.

Figure 1: The overview of our CNN model for document classification.

실험 결과

연구 질문

• RQ1 주의 기반 딥 러닝 모델이 기존의 기계학습 모델에 비해 영상 보고서의 분류 정확도를 향상시킬 수 있는가?
• RQ2 주의 메커니즘이 보고서 내 핵심 진단 용어를 강조함으로써 의미 있는 임상적 해석 가능한 근거를 제공하는가?
• RQ3 일부 임상 분류 작업에서 인간 간 평가자 간 일致도를 초월하는 성능을 달성할 수 있는가?
• RQ4 딥 러닝 기법을 사용할 경우 데이터셋 크기가 증가함에 따라 모델 성능은 어떻게 변화하는가?
• RQ5 주의 히트맵이 영상 보고서의 모델 예측에 대한 임상적 추론을 효과적으로 반영하는가?

주요 결과

• 제안된 신경 주의 모델(NAM)은 다섯 가지 분류 작업에서 각각 88.0%, 87.5%, 85.0%, 87.5%, 87.0%의 테스트 세트 정확도를 기록하여 SVM 기반 베이스라인을 능가했다.
• 출혈, 병변 효과, 중선 이동 세 가지 작업에서 모델의 정확도가 인간 간 평가자 간 일치도를 초월하여 뛰어난 성능을 보였다.
• 주의 메커니즘이 '뇌내 출혈'이나 '수막 퇴축'과 같은 임상적으로 관련성이 높은 용어를 성공적으로 강조하여 해석 가능한 근거를 생성하는 능력을 입증했다.
• 비신경망 모델 대비 평균 3% 이상의 성능 향상을 기록했으며, 특히 더 큰 데이터셋에서 훈련된 경우 두드러졌다.
• 모델의 주의 히트맵은 작업에 따라 올바른 진단 키워드에 집중하고 있음을 확인하여 임상적 관련성을 검증했다.
• 성능는 유사했지만 해석 가능성 덕분에 NAM 모델이 표준 CNN보다 선호되었으며, 주의 기반 설명을 제공하기 때문이다.

(a) Given a document matrix, the attention matrix is first created by performing multiple convolutions. The attention vector is then created by performing max pooling on each row of the attention matrix.