[논문 리뷰] Robustly Pre-trained Neural Model for Direct Temporal Relation Extraction

Hong Guan, Jianfu Li외 2명|arXiv (Cornell University)|2020. 04. 13.

Topic Modeling참고 문헌 21인용 수 5

한 줄 요약

이 논문은 임상 텍스트에서 직접적인 시간관계 추출을 위해 RoBERTa를 사용한 강건한 사전학습 신경망 모델을 제안한다. 더 큰 도메인 적응형 코퍼스와 향상된 사전학습 전략을 활용하여, 이전 최고 성능을 기록한 SVM 기반 방법 대비 절대 F1 점수 0.0864 향상 및 i2b2 2012년 시간관계 데이터셋에서 오류율 24% 감소를 달성하였다.

ABSTRACT

Background: Identifying relationships between clinical events and temporal expressions is a key challenge in meaningfully analyzing clinical text for use in advanced AI applications. While previous studies exist, the state-of-the-art performance has significant room for improvement. Methods: We studied several variants of BERT (Bidirectional Encoder Representations using Transformers) some involving clinical domain customization and the others involving improved architecture and/or training strategies. We evaluated these methods using a direct temporal relations dataset which is a semantically focused subset of the 2012 i2b2 temporal relations challenge dataset. Results: Our results show that RoBERTa, which employs better pre-training strategies including using 10x larger corpus, has improved overall F measure by 0.0864 absolute score (on the 1.00 scale) and thus reducing the error rate by 24% relative to the previous state-of-the-art performance achieved with an SVM (support vector machine) model. Conclusion: Modern contextual language modeling neural networks, pre-trained on a large corpus, achieve impressive performance even on highly-nuanced clinical temporal relation tasks.

연구 동기 및 목표

• 임상 텍스트에서 직접적인 시간관계 추출 성능을 최고 수준으로 향상시키는 것.
• RoBERTa 및 기타 BERT 변종이 임상 서술문에서 미묘한 시간관계를 포착하는 데 효과적인지 평가하는 것.
• 도메인 특화 사전학습과 향상된 학습 전략이 임상 시간관계 작업에 미치는 영향을 평가하는 것.
• 임상 NLP 응용 분야에서 시간관계 추출을 위한 강건한 신경망 기반 기준 성능을 확립하는 것.

제안 방법

• 2012년 i2b2 시간관계 데이터셋의 의미적으로 집중된 하위 집합에 대해 RoBERTa를 미세조정한다.
• 표준 BERT보다 10배 더 큰 사전학습 코퍼스를 사용하여, 임상 텍스트에 대한 표현 학습을 향상시킨다.
• 동적 마스킹과 더 긴 사전학습 기간을 포함한 향상된 사전학습 전략을 적용하여 모델의 일반화 능력을 향상시킨다.
• 직접적인 시간관계 분류 작업에서 표준 F1 점수를 사용하여 모델 성능을 평가한다.
• 동일한 벤치마크에서 RoBERTa를 다른 BERT 변종 및 SVM 기반 기준 모델과 비교한다.
• 사전학습된 인코더 위에 작업별 분류 레이어를 추가한 미세조정 전략을 활용한다.

실험 결과

연구 질문

• RQ1 RoBERTa가 임상 텍스트에서 직접적인 시간관계 추출에서 이전 최고 성능 모델을 능가할 수 있는가?
• RQ2 더 큰 도메인 특화 코퍼스에서의 사전학습이 임상 시간관계 작업 성능에 어떤 영향을 미치는가?
• RQ3 향상된 사전학습 전략(예: 동적 마스킹, 더 긴 사전학습)이 모델의 강건성과 정확도를 어느 정도 향상시키는가?
• RQ4 임상 코퍼스를 사용한 도메인 적응형 사전학습이 미세한 시간관계 이해에 있어 상당한 성과 향상에 기여하는가?

주요 결과

• RoBERTa 모델은 i2b2 직접 시간관계 데이터셋에서 이전 최고 성능을 기록한 SVM 기반 모델 대비 절대 F1 점수 0.0864 향상되었다.
• 이전 SOTA 대비 오류율을 24% 감소시켜 뚜렷한 성능 향상을 보였다.
• 10배 더 큰 사전학습 코퍼스 사용과 향상된 사전학습 전략이 성능 향상에 기여하였다.
• RoBERTa가 다른 BERT 변종, 특히 임상 분야에 맞춰 미세조정된 버전들보다도 뛰어난 성능을 보여, 사전학습 전략의 중요성이 도메인 특화 미세조정만으로는 충분하지 않음을 시사한다.
• 대규모 코퍼스에서 사전학습된 현대적 문맥 기반 언어 모델이 조밀한 임상 시간관계 추론 작업에서도 강력한 성능을 달성할 수 있음을 확인하였다.