[논문 리뷰] A hybrid deep learning approach for medical relation extraction

Veera Raghavendra Chikka, Kamalakar Karlapalem|arXiv (Cornell University)|2018. 06. 26.

Topic Modeling참고 문헌 10인용 수 10

한 줄 요약

이 논문은 치료법과 의료 문제 간의 관계를 향상시키기 위해 양방향 LSTM와 규칙 기반 모델을 융합한 하이브리드 딥러닝 접근법을 제안한다. 단어 수준 및 문장 수준의 특징—예를 들어 품사 태그, 위치 벡터, 점별 상호정보량—을 활용하여 I2b2 2010 벤치마크에서 F-스코어 0.52를 달성하였으며, 고정밀도 규칙 기반 출력의 통합을 통해 TrIP 및 TrNAP 관계에서 뚜렷한 성능 향상을 이룩하였다.

ABSTRACT

Mining relationships between treatment(s) and medical problem(s) is vital in the biomedical domain. This helps in various applications, such as decision support system, safety surveillance, and new treatment discovery. We propose a deep learning approach that utilizes both word level and sentence-level representations to extract the relationships between treatment and problem. While deep learning techniques demand a large amount of data for training, we make use of a rule-based system particularly for relationship classes with fewer samples. Our final relations are derived by jointly combining the results from deep learning and rule-based models. Our system achieved a promising performance on the relationship classes of I2b2 2010 relation extraction task.

연구 동기 및 목표

• 임상 텍스트에서 치료법과 의료 문제 간의 관계를 추출하는 데 도전하는 것은 의사결정 지원 및 약물 안전 감시에 있어 핵심적인 과제이다.
• 낮은 자원 관계 유형에 대해 딥러닝 성능을 향상시키기 위해, 자주 등장하지 않는 관계 유형을 위한 규칙 기반 시스템을 통합한다.
• 순차적 의존성을 추론하기 위해 전통적인 CNN 및 SVM과 비교하여 양방향 LSTM의 효과를 탐색한다.
• 문장 수준의 표현—예를 들어 품사 시퀀스 및 상호정보량—이 단어 수준 표현을 초월하여 관계 분류 정확도에 기여하는 방식을 평가한다.

제안 방법

• 양방향 LSTM 네트워크는 토큰, 품사 태그, 쿠션 태그 등의 단어 수준 특징과 치료법 및 문제 엔티티까지의 거리 정보를 나타내는 위치 벡터를 포함한 입력 문장을 처리한다.
• 문장 수준 특징으로는 상위 100개의 빈도 높은 품사 시퀀스, 엔티티 공존 빈도에 대한 점별 상호정보량, cTAKES에서 유도된 주장 키워드가 포함된다.
• 워드 임베딩은 무작위로 초기화되며, 훈련 중 역전파를 통해 미세조정된다. 입력 특징은 밀집 행렬 표현으로 결합된다.
• 훈련 샘플 수가 적은 관계 유형(예: TrIP, TrNAP)을 위해 언어 패턴과 동사(예: 'controlled', 'resistant' 등)와 같은 의미적 신호를 활용한 규칙 기반 시스템을 개발한다.
• 최종 예측은 고정밀도 규칙 기반 출력과 Bi-LSTM 예측을 융합하여 생성되며, 특히 낮은 자원 관계에서 성능 향상을 이룬다.
• 모델은 교차 엔트로피 손실를 사용하여 훈련하고, Adam 최적화 알고리즘을 통해 하이퍼파라미터를 검증 데이터 기반으로 튜닝한다.

실험 결과

연구 질문

• RQ1 양방향 LSTM가 전통적인 SVM 및 CNN 기반 모델보다 의료 관계 추출에서 순차적 의존성을 더 잘 포착할 수 있는가?
• RQ2 품사 시퀀스 및 상호정보량과 같은 문장 수준 특징이 단어 수준 표현을 초월하여 관계 분류에 어떤 기여를 하는가?
• RQ3 딥러닝과 융합했을 때, 규칙 기반 시스템이 낮은 자원 관계 유형(예: TrIP, TrNAP)에서 성능 향상에 얼마나 기여하는가?
• RQ4 Bi-LSTM와 규칙 기반 모델의 공동 추론이 I2b2 2010 벤치마크에서 개별 모델보다 더 높은 F-스코어를 달성하는가?

주요 결과

• Bi-LSTM 모델은 TrAP 관계에서 F-스코어 0.58을 기록하여 SVM를 능가하였으며, 딥러닝에 대한 대규모 훈련 데이터의 이점을 입증하였다.
• 규칙 기반 시스템은 TrIP 및 TrNAP 관계에서 높은 정밀도를 기록하였으며, 각각 F-스코어 0.47 및 0.30를 달성하였고, Bi-LSTM 성능 향상에 기여하였다.
• 하이브리드 Bi-LSTM 및 규칙 기반 시스템은 총 F-스코어 0.52를 기록하였으며, Bi-LSTM 단독 대비 0.01 향상되었으며, TrIP(0.42 vs. 0.41) 및 TrNAP(0.30 vs. 0.22)에서 뚜렷한 성능 향상을 보였다.
• 규칙 기반 출력의 통합은 Bi-LSTM 모델에서 성능이 떨어지는 낮은 훈련 샘플 수를 가진 관계, 예를 들어 TrIP 및 TrNAP에 가장 효과적이었다.
• 골드 표준에서의 모호한 애너테이션(예: 'treated for'가 TrAP 또는 TrIP로 레이블링됨)이 성능 변동성의 원인이 되었으며, 데이터 품질의 과제를 드러내었다.
• 위치 인식 임베딩과 문장 수준 특징을 포함한 전체 문장 표현 방식은 국소 윈도우 기반 접근법에 비해 더 나은 맥락 모델링을 가능하게 하였다.