[논문 리뷰] Medical code prediction with multi-view convolution and description-regularized label-dependent attention

Najmeh Sadoughi, Greg P. Finley외 7명|arXiv (Cornell University)|2018. 11. 05.

Topic Modeling참고 문헌 11인용 수 18

한 줄 요약

이 논문은 다중 시야 컨볼루션 네트워크를 사용하여 커널 크기를 적응적으로 학습하고, 레이블 설명을 정규화한 어텐션을 통해 데이터 희소성 문제를 완화하는 딥러닝 모델인 MVC-RLDA를 제안한다. MIMIC-III 데이터셋에서 기존 최고 성능을 뛰어넘는 새로운 최고 성능인 마이크로 F1 스코어 55.85%를 달성하였으며, 모든 임상 노트를 활용하고 코드 설명을 통한 어テン션 정규화로 희귀 코드에 대한 일반화 능력을 향상시켰다.

ABSTRACT

A ubiquitous task in processing electronic medical data is the assignment of standardized codes representing diagnoses and/or procedures to free-text documents such as medical reports. This is a difficult natural language processing task that requires parsing long, heterogeneous documents and selecting a set of appropriate codes from tens of thousands of possibilities---many of which have very few positive training samples. We present a deep learning system that advances the state of the art for the MIMIC-III dataset, achieving a new best micro F1-measure of 55.85\%, significantly outperforming the previous best result (Mullenbach et al. 2018). We achieve this through a number of enhancements, including two major novel contributions: multi-view convolutional channels, which effectively learn to adjust kernel sizes throughout the input; and attention regularization, mediated by natural-language code descriptions, which helps overcome sparsity for thousands of uncommon codes. These and other modifications are selected to address difficulties inherent to both automated coding specifically and deep learning generally. Finally, we investigate our accuracy results in detail to individually measure the impact of these contributions and point the way towards future algorithmic improvements.

연구 동기 및 목표

• 대규모이고 희소한 ICD-9 코드 집합에서, 특히 자원이 부족한(희귀한) 코드에 대해 의료 코드 예측 정확도를 향상시키기 위해.
• 의료 코드 예측의 데이터 희소성 문제를 해결하기 위해 코드의 자연어 설명을 어텐션 메커니즘에 통합하기 위해.
• 학습 및 추론 중에 퇴원 요약문 이외의 모든 가용 임상 노트를 활용하여 모델의 강건성을 향상시키기 위해.
• 다양한 수용 영역을 가진 n-gram 패턴을 다중 시야 컨볼루션을 통해 동적으로 캡처할 수 있는 유연한 딥러닝 아키텍처를 개발하기 위해.
• 각 아키텍처 구성 요소가 전체 성능에 기여하는 정도를 경험적으로 검증하여, 특히 데이터가 적은 상황에서의 기여도를 평가하기 위해.

제안 방법

• 모델는 공유된 채널 간 최대 풀링을 갖춘 다중 시야 컨볼루션(MVC) 아키텍처를 사용하여, 다양한 n-gram 수준에서 적응적인 커널 크기 학습이 가능하도록 설계되었다.
• 각 코드는 텍스트 기반 설명에 조건부로 설정된 고유한 공간 어텐션 레이어를 갖추며, 이는 희귀 코드에서의 오버피팅을 줄이기 위해 어텐션을 정규화한다.
• 입력 표현은 환자별로 가용한 모든 임상 노트(예: 진행 노트, 수술 보고서 등)를 연결하여 구성된다.
• 공유된 임베딩 레이어를 기반으로 하며, 이후 컨볼루션 및 어텐션 레이어 스택이 이어지고, 코드 기반으로 조정된 고유한 어텐션 헤드가 사용된다.
• 입력 시퀀스 길이에 따라 조정되는 길이 인식 임베딩(T(l))이 출력 레이어에 적용되어, 다양한 길이의 보고서 간 일반화 능력을 향상시킨다.
• 어텐션 정규화는 입력 토큰과 코드 설명 간의 어텐션 정렬 점수를 계산하여 수행되며, 이는 어텐션을 의미적으로 관련 있는 용어에 집중하도록 유도한다.

실험 결과

연구 질문

• RQ1 고정 커널 크기를 가진 CNN과 비교했을 때, 다중 시야 컨볼루션은 코드 예측 성능에 어떻게 기여하는가?
• RQ2 코드 설명을 활용한 어텐션 정규화는 희귀 의료 코드에 대한 오버피팅을 얼마나 줄이는가?
• RQ3 퇴원 요약문만 사용하는 것과 비교해 모든 임상 노트를 사용할 경우 예측 정확도에 어떤 영향을 미치는가?
• RQ4 각 구성 요소(예: 정규화, MVC, 길이 임베딩)는 최종 성능 향상에 어떻게 기여하는가?
• RQ5 다른 학습 빈도 분포를 가진 코드들에 대해 모델의 성능 향상 정도가 유의미하게 다를까?

주요 결과

• 제안된 MVC-RLDA 모델은 MIMIC-III 데이터셋에서 기존 최고 성능인 53.9%를 뛰어넘는 새로운 최고 성능인 마이크로 F1 스코어 55.85%를 달성하였다.
• 다중 시야 CNN 구성 요소를 제거하면 마이크로 F1 스코어가 55.85%에서 43.78%로 가장 크게 하락하였으며, 이는 다양한 n-gram 패턴을 캡처하는 데서 그 핵심적인 역할을 한다는 것을 시사한다.
• 코드 설명을 활용한 어텐션 정규화는 모든 빈도 범주에서 마이크로 F1을 향상시켰으며, 학습 예제가 10개 미만인 코드에서 가장 큰 성과를 보였다.
• 퇴원 요약문 뿐만 아니라 모든 임상 노트를 사용함으로써 성능 향상이 뚜렷하게 향상되었으며, 이는 포괄적인 입력 컨텍스트의 가치를 입증한다.
• 길이 임베딩 구성 요소는 개별 영향이 가장 작았으며, 이는 전체 성능 향상에 다른 구성 요소보다 기여도가 낮다는 것을 시사한다.
• 모델의 PR AUC 및 P@8 지표는 마이크로 F1만큼 구성 요소 제거에 민감하지 않았으며, 이는 F1이 특히 재현율 변화에 가장 영향을 받으며, 이는 다중 시야 CNN의 기여도가 핵심임을 시사한다.