[논문 리뷰] Lessons from Natural Language Inference in the Clinical Domain

Alexey Romanov, Chaitanya Shivade|arXiv (Cornell University)|2018. 08. 21.

Topic Modeling참고 문헌 41인용 수 18

한 줄 요약

이 논문은 MIMIC-III 전자 의료 기록 코퍼스에서 유래한 임상 영역의 자연어 추론(NLI)을 위한 공개된 전문가 주석이 부여된 최초의 데이터셋인 MedNLI를 소개한다. 이는 오픈 도메인 NLI 데이터셋(예: SNLI)에서의 전이 학습 및 어휘 임베딩과 지식 기반을 통한 도메인 특화 지식 통합이 임상 NLI 작업에서 모델 성능을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

State of the art models using deep neural networks have become very good in learning an accurate mapping from inputs to outputs. However, they still lack generalization capabilities in conditions that differ from the ones encountered during training. This is even more challenging in specialized, and knowledge intensive domains, where training data is limited. To address this gap, we introduce MedNLI - a dataset annotated by doctors, performing a natural language inference task (NLI), grounded in the medical history of patients. We present strategies to: 1) leverage transfer learning using datasets from the open domain, (e.g. SNLI) and 2) incorporate domain knowledge from external data and lexical sources (e.g. medical terminologies). Our results demonstrate performance gains using both strategies.

연구 동기 및 목표

• 데이터 집약적 모델 훈련을 방해하는 바탕이 되는 대규모 전문가 주석이 부여된 임상 도메인 NLI 데이터셋의 부족을 해결하기 위해.
• 오픈 도메인 NLI 모델(예: SNLI)에서의 전이 학습이 임상 텍스트에서 효과적으로 작용하는지 평가하기 위해.
• 어휘 자원과 지식 기반을 통한 의료 도메인 지식 통합 방법을 탐구하기 위해.
• 임상 NLI에 대한 벤치마크를 설정하고 향후 의료 NLP 및 임상 의사결정 지원 분야의 연구를 가능하게 하기 위해.

제안 방법

• MIMIC-III 데이터베이스의 익명화된 임상 기록의 과거 병력 섹션에서 전제 문장을 수집하여 MedNLI를 구축하였다.
• 도메인 전문가(의사)를 통해 가설을 수집하였으며, 각 전제-가설 쌍에 대해 세 가지 NLI 레이블 중 하나인 함의, 모순, 중립으로 레이블을 지정하였다.
• 전이 학습을 사용하여 최신 오픈 도메인 NLI 모델(예: BERT, RoBERTa)을 MedNLI에서 미세조정하였다.
• 의료 용어와 같은 도메인 특화 어휘 임베딩(예: UMLS에서 유래)과 지식 기반 주의 메커니즘을 통합하여 모델을 향상시켰다.
• 언어적 특징(예: 부정, 공호성)을 평가하고, 의료 개념의 의미 유형에 대한 오류 분석을 수행하였다.
• 주석 오류를 탐지하기 위해 전제 무관 분류기를 사용하여, SNLI 및 MultiNLI와 유사한 편향이 존재하는 것을 확인하였다.

실험 결과

연구 질문

• RQ1 오픈 도메인 NLI 데이터셋(예: SNLI)에서의 전이 학습이 임상 NLI 작업에서 효과적으로 성능을 향상시키는가?
• RQ2 의료 용어 및 지식 기반에서 유래한 도메인 특화 지식 통합이 임상 환경에서 NLI 모델 성능에 어느 정도 기여하는가?
• RQ3 부정, 공호성, 시간적 표현과 같은 언어적 특징이 오픈 도메인 NLI에 비해 임상 NLI에서 더 어렵게 작용하는가?
• RQ4 의료 개념의 의미 유형(예: 질환, 소견, 약리학적 물질)이 모델 예측 어려움과 관련이 있는가?
• RQ5 주석 오류(예: 레이블 편향)가 전문가 주석이 부여된 임상 NLI 데이터셋에 여전히 존재하는가?

주요 결과

• 전제 무관 분류기에서 MedNLI는 테스트 F1 스코어 61.9를 기록하여 SNLI 및 MultiNLI와 유사한 주석 오류가 존재함을 시사한다.
• 최신 오픈 도메인 NLI 모델을 MedNLI에서 미세조정하면 뛰어난 성능을 달성하여 향후 임상 NLP 연구의 견고한 베이스라인을 확립한다.
• 의료 용어에서 유래한 도메인 특화 어휘 임베딩(예: UMLS)을 통합하면 NLI 모델의 성능 향상이 명백하게 나타난다.
• 지식 기반 주의 메커니즘과 외부 의료 지식 기반의 통합은 모델 추론 능력을 향상시키지만, 오류 분석에서 일관된 질적 패턴은 발견되지 않았다.
• 부정이 가장 영향력 있는 언어적 특징이며, 세 모델 모두 부정을 최대 75%의 경우에서 정확히 해석한다. 그 외 특징들은 희박하고 구분성이 떨어지는 패턴을 보였다.
• 모델 오류와 특정 의료 개념의 의미 유형 간에 유의미한 상관관계는 발견되지 않아, 모델 실패가 개념 카테고리에 체계적으로 연결되어 있지 않음을 시사한다.