[논문 리뷰] Bidirectional LSTM-CRF for Clinical Concept Extraction

Raghavendra Chalapathy, Ehsan Zare Borzeshi외 1명|arXiv (Cornell University)|2016. 10. 19.

Topic Modeling참고 문헌 22인용 수 46

한 줄 요약

이 논문은 수동적 특징 공학을 필요로 하지 않고, 일반 제품형 단어 임베딩(GloVe 및 Word2Vec)을 사용하여 임상 개념 추출을 위한 이방향 LSTM-CRF 모델을 제안한다. 이 접근법은 2010년 i2b2/VA 벤치마크에서 최상위 성능을 기록하며, 마이크로-F1 점수 83.81%로 2위를 기록하여 뛰어난 일반화 능력과 OOV(Out-of-Vocabulary) 단어에 대한 강건성을 입증한다.

ABSTRACT

Extraction of concepts present in patient clinical records is an essential step in clinical research. The 2010 i2b2/VA Workshop on Natural Language Processing Challenges for clinical records presented concept extraction (CE) task, with aim to identify concepts (such as treatments, tests, problems) and classify them into predefined categories. State-of-the-art CE approaches heavily rely on hand crafted features and domain specific resources which are hard to collect and tune. For this reason, this paper employs bidirectional LSTM with CRF decoding initialized with general purpose off-the-shelf word embeddings for CE. The experimental results achieved on 2010 i2b2/VA reference standard corpora using bidirectional LSTM CRF ranks closely with top ranked systems.

연구 동기 및 목표

• 비구조화된 환자 기록에서 임상 개념 추출 문제를 해결하기 위해 도메인 특화 특징 공학에 의존하지 않고서도 수행할 수 있도록 하는 것.
• 사전 훈련된 단어 임베딩을 사용한 엔드 투 엔드 딥 러닝 접근법이 전통적인 지도 학습 모델보다 성능이 유사하거나 뛰어나게 할 수 있는지 평가하는 것.
• 일반 목적 임베딩을 사용하는 이방향 LSTM-CRF가 2010년 i2b2/VA 임상 개념 추출 과제에서 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.
• 도메인 특화 사전 학습이나 전문가 주석에 의존도를 줄이기 위해 시장에서 구입할 수 있는 임베딩을 임상 NLP 과제에 활용할 수 있는지의 타당성을 탐색하는 것.

제안 방법

• 임상 텍스트 시퀀스의 문맥적 표현을 인코딩하기 위해 이방향 장기 단기 기억망(LSTM)을 사용한다.
• 라벨 간 의존성을 모델링하고 시퀀스 레이블링을 수행하기 위해 LSTM 위에 조건부 랜덤 필드(CRF) 레이어를 적용한다.
• 도메인 특화 임베딩 대신 일반 도메인 코퍼스(예: 위키백과)에서 사전 훈련된 GloVe 및 Word2Vec 임베딩을 사용하여 단어 임베딩을 초기화한다.
• 검증 성능 기반 조기 정지 기법을 사용하여 백프로파게이션을 통해 전체 모델을 엔드 투 엔드로 훈련한다.
• 훈련 중에 OOV 토큰(예: 약어, 알파숫자 조합)은 무작위로 초기화된 임베딩을 사용한다.
• 검증 세트에서 그리드 서치를 통해 히든 유닛 수, 임베딩 차원, 학습률, 드롭아웃 등의 하이퍼파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 일반 제품형 단어 임베딩을 사용하는 이방향 LSTM-CRF 모델이 수동적 특징 공학 없이도 임상 개념 추출에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 심층 학습 접근법의 성능가 최고 수준의 시스템(광범위한 특징 공학 및 도메인 특화 자원에 의존)과 비교해 볼 때 어떻게 다른가?
• RQ3 사전 훈련된 일반 목적 임베딩이 희귀어나 약어어와 같은 임상 텍스트에 얼마나 잘 일반화되는가?
• RQ4 모델의 엔드 투 엔드 학습 능력이 OOV 및 비공식적인 임상 표현에 대해 강건성을 향상시키는가?

주요 결과

• 이방향 LSTM-CRF 모델은 2010년 i2b2/VA 테스트 세트에서 마이크로-F1 점수 83.81%를 기록하여 도전 대회에서 전체 시스템 중 2위를 차지했다.
• 규칙 기반 및 어휘에 의존하는 여러 시스템을 능가하여, 도메인 특화 기능을 사용하지 않음에도 불구하고 강력한 일반화 능력을 입증했다.
• 약 20%의 토큰이 OOV 상태였음에도 불구하고, 무작위로 초기화된 임베딩이었지만 여전히 의미 있는 표현을 학습하는 데 성공했다.
• 복잡한 무 supervision 특징 학습에 의존하는 상위 성능을 기록한 준-감독 Markov HMM 시스템과 비교해도 경쟁 가능한 성능을 기록했다.
• 광범위한 특징 공학이 필요 없어 개발 노력이 크게 줄었고, 높은 정확도를 유지하는 데 성공했다.
• 결과적으로 일반 도메인 코퍼스에서 사전 훈련된 임베딩가 임상 NLP 과제에 효과적인 초기화 자원이 될 수 있으며, 특히 심층 시퀀스 모델링과 조합할 경우 더욱 유용하다는 점을 시사한다.