[논문 리뷰] Classifying medical notes into standard disease codes using Machine Learning

Amitabha Karmakar|arXiv (Cornell University)|2018. 02. 01.

Text and Document Classification Technologies참고 문헌 8인용 수 7

한 줄 요약

이 논문은 심부전, 고혈압, 당뇨병 등 표준 ICD-9 질환 코드로 임상 퇴원 기록을 자동으로 분류하기 위해 컨볼루션 신경망(CNNs)에 자기주의 메커니즘을 결합한 딥러닝 접근법을 제안한다. 이 방법은 이전 모델들을 능가하며, 전체 MIMIC-III 데이터셋을 사용할 때 레벨 1 ICD-9 코드에서 79.7%의 F1 스코어를 기록하여, CNN에 주의 메커니즘을 적용한 모델이 이 작업에서 LSTMs나 계층적 모델보다 더 효과적임을 입증한다.

ABSTRACT

We investigate the automatic classification of patient discharge notes into standard disease labels. We find that Convolutional Neural Networks with Attention outperform previous algorithms used in this task, and suggest further areas for improvement.

연구 동기 및 목표

• 딥러닝을 활용하여 임상 퇴원 기록을 표준 ICD-9 질환 코드로 자동 분류하는 것을 향상시키기.
• 주어진 작업에서 주의 메커니즘과 CNN이 기존의 LSTMs나 계층적 분류기와 같은 전통적 모델보다 우월한지 평가하기.
• 라벨 계층 구조, 데이터 크기, 임bedding 전략이 모델 성능에 미치는 영향을 조사하기.
• 수정된 학습 지표를 통해 단순화된 및 전체 ICD 코딩 접근법을 통합하는 것이 가능한지 탐색하기.
• 사전 훈련된 임bedding가 임상 텍스트 분류 작업에서 유용한지 평가하기.

제안 방법

• 연구는 MIMIC-III 데이터베이스의 52,696건의 퇴원 기록을 대상으로 다중 라벨, 다중 클래스 분류 프레임워크를 사용한다.
• 임상 텍스트 내 국소적 및 장거리 의존성을 포착하기 위해 자기주의 기반의 CNN 모델과 비자기주의 CNN 모델을 각각 적용한다.
• 학습 가능한 단어 임베딩을 사용하며, 추가로 WikiGloVe와 MIMIC 기록에 기반한 맞춤형 사전 훈련된 임베딩을 실험한다.
• 학습 안정성과 성능 향상을 위해 라벨을 계층적 구조를 기반으로 17개의 레벨 1 ICD-9 코드로 압축한다.
• 비교를 위해 문장 수준의 LSTM 기반 계층적 모델도 구현하였으며, 시간적 진행을 모델링하기 위해 문장 분할을 적용한다.
• 학습 목표로 F1 스코어 최적화를 포함하며, 주의 메커니즘, 임베딩, 라벨 압축에 대한 분석 실험도 수행한다.

실험 결과

연구 질문

• RQ1 자기주의 기반의 CNN이 임상 기록을 ICD-9 코드로 분류하는 데 있어 표준 CNN, LSTM, 계층적 모델보다 우월한가?
• RQ2 ICD-9 코드 수를 레벨 1 계층으로 줄이는 것이 분류 성능 및 모델 일반화에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 임베딩이 임상 기록 분류 작업에서 성능 향상에 어느 정도 기여하는가?
• RQ4 주목적 메커니즘은 문장 분할의 고정된 제약를 어떻게 완화할 수 있는가?
• RQ5 계층적 라벨 근접도를 고려해 학습 지표를 수정함으로써 단순화된 및 전체 ICD 코딩 접근법을 통합하는 것이 가능한가?

주요 결과

• 자기주의 기반 CNN 모델은 5,000개의 검증 세트에서 가장 높은 F1 스코어(78.2%)를 기록했지만, 전체 데이터셋에서는 과적합으로 인해 성능이 떨어졌다.
• 표준 CNN 모델은 전체 데이터셋에서 17개의 레벨 1 ICD-9 코드로 분류할 때 79.7%의 F1 스코어를 기록하여, 문헌에 보고된 모든 이전 방법보다 뛰어난 성능을 보였다.
• 계층적 LSTM 모델은 두 가지 CNN 변종보다 성능이 열 劣하였으며, 이는 이 맥락에서 문장 수준의 시간적 구조 모델링이 유의미한 이점을 제공하지 못한다는 것을 시사한다.
• WikiGloVe에서 온 사전 훈련된 임베딩은 성능을 약간 떨어뜨렸고, MIMIC 기반 맞춤형 임베딩은 0.01% 향상시켜 도메인 특화 사전 훈련이 더 효과적임을 시사한다.
• 희귀한 레벨 5 코드보다는 더 큰, 균형 잡힌 라벨 세트(17개의 레벨 1 코드)를 사용할 경우 모델 성능이 크게 향상되었다.
• 연구에서 CNN이 컨볼루션 필터를 통해 문서 수준의 추상화를 암묵적으로 학습한다는 점을 발견했는데, 이는 LSTMs나 명시적 문장 분할에 의존하는 모델들보다 성능이 뛰어난 이유를 설명할 수 있다.