[논문 리뷰] Clinical Information Extraction via Convolutional Neural Network

Peng Li, Heng Huang|arXiv (Cornell University)|2016. 03. 30.

Topic Modeling참고 문헌 11인용 수 11

한 줄 요약

이 논문은 원시 임상 노트에서 이벤트 스파이크와 그 속성—모달리티, 극성, 유형 등—을 식별하기 위해 1차원 합성곱 신경망(CNN)을 사용한 딥러닝 접근법을 제안한다. 단어 임베딩, 품사 태그, 형태 특징을 활용함으로써 도메인 특화 도구인 cTAKES에 의존하지 않고도 최신 기술 수준의 성능을 달성하며, 스파이크 검출의 F1 점수는 최대 0.874, 속성 분류의 F1 점수는 0.844에 이를 정도로 다양한 지표에서 베이스라인을 능가한다.

ABSTRACT

We report an implementation of a clinical information extraction tool that leverages deep neural network to annotate event spans and their attributes from raw clinical notes and pathology reports. Our approach uses context words and their part-of-speech tags and shape information as features. Then we hire temporal (1D) convolutional neural network to learn hidden feature representations. Finally, we use Multilayer Perceptron (MLP) to predict event spans. The empirical evaluation demonstrates that our approach significantly outperforms baselines.

연구 동기 및 목표

• cTAKES와 같은 복잡한 도메인 특화 NLP 툴킷에 의존도를 줄이는 임상 정보 추출 시스템을 개발하는 것.
• 딥 레이어드 표현 학습을 활용해 임상 노트에서 이벤트 스파이크 및 속성 검출의 정확도를 향상시키는 것.
• 단순한 단어 수준의 표현과 간단한 NLP 모듈을 활용해 최소한의 특징 공학으로도 높은 성능을 달성할 수 있음을 보여주는 것.
• 단어 임베딩, 품사 태그, 형태 특징을 딥 네ural 네트워크에 통합하여 임상 NLP 작업에서의 효과를 평가하는 것.

제안 방법

• 시스템은 토큰, 품사(POS) 태그, 단어 형태와 같은 단어 특징에서 은닉 표현을 학습하기 위해 1차원 시간적 합성곱 신경망(CNN)을 사용한다.
• 단어 형태 특징은 소문자 문자를 'x', 대문자 문자를 'X', 숫자를 'd'로 매핑하고 구두점은 그대로 유지하여 생성된다.
• 각 단어는 토큰, POS, 형태에 대한 룩업 테이블에서 생성된 특징 벡터를 연결하여 표현되며, 이는 이후 CNN에 입력된다.
• CNN은 커널 너비 2를 가진 필터를 사용하여 윈도우 크기 2*window_size+1의 영역에 대해 적용하며, ReLU 유사 활성화 함수와 시퀀스에 대한 맥스 풀링을 수행한다.
• CNN 출력 위에 50개의 은닉 유닛과 시그모이드 활성화 함수를 가진 다층퍼셉트론(MLP)을 적용하여 이벤트 스파이크와 속성을 예측한다.
• 모델는 예측 정확도를 극대화하기 위해 음의 로그우도 목표 함수를 사용하며, 스토케스틱 그래디언트 하강법, AdaGrad, L2 정규화를 통해 훈련된다.

실험 결과

연구 질문

• RQ1 cTAKES와 같은 도메인 특화 특징 공학 도구에 의존하지 않고도 딥 네ural 네트워크 모델이 임상 정보 추출에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 기본 NLP 특징—단어 토큰, 품사 태그, 형태 정보—이 1D CNN과 결합될 때 이벤트 스파이크 및 속성 검출에 얼마나 효과적인가?
• RQ3 원시 임상 텍스트에서 엔드 투 엔드 학습이 전통적인 핸드크래프트드 피처를 사용하는 파이프라인 방법보다 얼마나 뛰어난가?
• RQ4 사전 학습된 GloVe 임베딩의 사용이 임상 이벤트 추출 작업의 성능 향상에 기여하는가?

주요 결과

• 제안된 모델은 이벤트 스파이크 식별에서 F1 점수 0.874를 기록하여 기억 기반 베이스라인을 능가했으며, 보고된 중앙값 및 최대값 점수와도 일치했다.
• 속성 예측에서는 유형에 대해 F1 점수 0.844, 극성에 대해 0.842, 정도에 대해 0.870, 모달리티에 대해 0.844를 기록하여 일관되게 베이스라인을 초월했다.
• DocTimeRel 서브태스크에서의 성능은 F1 점수 0.788을 기록하여 중앙값 보고치(0.724)를 뛰어넘었고, 최대 보고치(0.843)에 가까워졌다.
• 이벤트 스파이크 검출에서 정밀도는 0.908, 재현율은 0.842를 기록하여 정확도 중심의 훈련 목표로 인한 약간의 재현율 격차가 있음에도 불구하고 뛰어난 성능를 보였다.
• 결과적으로, 단어 분할, 품사 태깅과 같은 기본 NLP 모듈과 딥 러닝만으로도 높은 성능를 달성할 수 있으며, 이는 복잡한 도메인 특화 특징 공학의 필요성을 줄일 수 있음을 시사한다.