[논문 리뷰] Deep Contextualized Biomedical Abbreviation Expansion

Qiao Jin, Liu Jin-ling외 1명|arXiv (Cornell University)|2019. 06. 08.

Biomedical Text Mining and Ontologies참고 문헌 20인용 수 9

한 줄 요약

이 논문은 BioELMo 임베딩과 약어 전용 양방향 LSTM을 활용하여 최신 기술 수준의 성능을 달성하는 생물의학적 약어 전개를 위한 딥 컨텍스트 모델인 DECBAE를 제안한다. 이 모델은 PubMed 초록에서 첫 사용 정의를 기반으로 한 히우리스틱을 사용하여 대규모 훈련 데이터셋을 자동으로 구성하며, 96.1%의 정확도와 91.7%의 매크로-F1을 기록하여 임상 약어 벤치마크에서 기준 모델과 인간 전문가를 모두 능가한다.

ABSTRACT

Automatic identification and expansion of ambiguous abbreviations are essential for biomedical natural language processing applications, such as information retrieval and question answering systems. In this paper, we present DEep Contextualized Biomedical. Abbreviation Expansion (DECBAE) model. DECBAE automatically collects substantial and relatively clean annotated contexts for 950 ambiguous abbreviations from PubMed abstracts using a simple heuristic. Then it utilizes BioELMo to extract the contextualized features of words, and feed those features to abbreviation-specific bidirectional LSTMs, where the hidden states of the ambiguous abbreviations are used to assign the exact definitions. Our DECBAE model outperforms other baselines by large margins, achieving average accuracy of 0.961 and macro-F1 of 0.917 on the dataset. It also surpasses human performance for expanding a sample abbreviation, and remains robust in imbalanced, low-resources and clinical settings.

연구 동기 및 목표

• 정의가 명시적으로 제공되지 않은 맥락에서 생물의학적 약어의 의미를 해소하는 데 도전하는 것.
• PubMed 초록에서 첫 사용 정의를 기반으로 한 히우리스틱을 사용하여 약어 전개를 위한 대규모 고품질 훈련 데이터셋을 자동으로 구성하는 것.
• 다양한 생물의학적 맥락, 특히 임상 텍스트에서 잘 일반화되는 강력하고 자원이 적은 환경에 유리한 모델을 개발하는 것.
• 특히 높은 모호성과 불균형한 레이블 분포를 보이는 경우에서 인간 성능을 뛰어넘는 것.

제안 방법

• 모델은 PubMed 초록에서 동일한 약어를 포함하는 문장을 추출하고, 해당 약어의 첫 번째 사용 정의를 이후 모든 인스턴스의 레이블로 할당하는 히우리스틱을 사용한다.
• 1,000만 개의 PubMed 초록에서 사전 훈련된 생물의학 분야 적응형 ELMo 모델인 BioELMo를 사용하여 맥락 기반 단어 임베딩을 생성한다.
• 각 약어에 대해, 해당 맥락 임베딩을 기반으로 후보 정의 집합에서 올바른 전개 형태를 예측하기 위해 별도의 양방향 LSTM 분류기를 훈련한다.
• 추론 시, 모델은 전체 문장을 BioELMo로 처리하고 해당 약어에 맞는 전용 biLSTM를 적용하여 의미 해소를 수행한다.
• BERT의 미세조정을 피하기 위해 고정된 BioELMo 임베딩과 경량의 작업 전용 biLSTM 헤드를 사용함으로써 저장 및 추론 오버헤드를 줄인다.
• 모델은 랜덤, 불균형, 자원이 적은, 임상 설정 등 다양한 환경에서 평가되어 강건성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 과학적 텍스트에서 첫 사용 정의를 기반으로 한 자기지도 학습 데이터 수집 방법이 생물의학적 약어 전개를 위한 신뢰성 있고 확장 가능한 훈련 데이터셋을 생성할 수 있는가?
• RQ2 비컨텍스트나 일반 도메인 임베딩에 비해 BioELMo 임베딩이 약어 의미 해소 성능 향상에 어느 정도 기여하는가?
• RQ3 자동으로 수집된 데이터에 기반해 약어 전용 biLSTM 분류기를 훈련한 모델이 복잡하고 모호한 생물의학적 약어의 의미 해소에서 인간 전문가를 능가하는가?
• RQ4 어떤 정의가 상당히 부족한 경우가 많은 불균형 및 자원이 적은 설정에서 제안된 모델의 강건성은 어느 정도인가?

주요 결과

• DECBAE는 주요 데이터셋에서 평균 정확도 0.961과 매크로-F1 0.917을 기록하여 모든 기준 모델을 크게 능가한다.
• 다수 클래스가 레이블의 95% 이상을 차지하는 불균형 설정에서도 DECBAE는 매크로-F1 0.898을 유지하며 기준 모델의 성능 저하를 피한다.
• 임상 서브셋에서는 이전 임상 연구에서 85%의 약어를 포함하고 있으나, 평균 8.5개의 후보 정의가 존재하는 상황에서도 높은 성능을 기록한다.
• 'DAT'의 테스트 케이스에서 DECBAE는 정확도, 매크로-F1, Cohen’s 카파 계수 등 모든 지표에서 단일 인간 전문가를 뛰어넘는다.
• 혼동 행렬 분석 결과, DECBAE는 인간 전문가보다 오류를 더 적게 내며, 특히 'direct agglutination test'와 'direct antiglobulin test'를 구분하는 데서 더 우수한 성능을 보였다.
• 단순히 BioELMo에 힘을 싣고 피드포워드 레이어만 사용하는 변형 모델조차도 우수한 성능을 기록하여 자원 제약이 있는 환경에서 더 빠른 추론 가능성을 시사한다.