[논문 리뷰] Claim Extraction in Biomedical Publications using Deep Discourse Model and Transfer Learning

Titipat Achakulvisut, Chandra Bhagavatula외 1명|arXiv (Cornell University)|2019. 07. 01.

Topic Modeling참고 문헌 37인용 수 19

한 줄 요약

이 논문은 과학적 주장을 추출하기 위한 1,500개의 전문가가 주석 처리한 생물의학 초록으로 구성된 새로운 데이터셋을 소개하고, 사전 훈련된 Bi-LSTM-CRF 아키텍처를 활용한 전이 학습을 통한 강화된 딥 디스course 모델을 제안한다. 이 방법은 전이 학습이 없는 기준 모델 대비 F1 스코어에서 14.1%p 향상시키며, 과학 문헌에서의 주장 추출에 전이 학습의 효과성을 입증한다.

ABSTRACT

Claims are a fundamental unit of scientific discourse. The exponential growth in the number of scientific publications makes automatic claim extraction an important problem for researchers who are overwhelmed by this information overload. Such an automated claim extraction system is useful for both manual and programmatic exploration of scientific knowledge. In this paper, we introduce a new dataset of 1,500 scientific abstracts from the biomedical domain with expert annotations for each sentence indicating whether the sentence presents a scientific claim. We introduce a new model for claim extraction and compare it to several baseline models including rule-based and deep learning techniques. Moreover, we show that using a transfer learning approach with a fine-tuning step allows us to improve performance from a large discourse-annotated dataset. Our final model increases F1-score by over 14 percent points compared to a baseline model without transfer learning. We release a publicly accessible tool for discourse and claims prediction along with an annotation tool. We discuss further applications beyond biomedical literature.

연구 동기 및 목표

• 생물의학 문헌에서 정보 과잉 문제를 해결하기 위해 과학적 주장을 자동으로 추출할 수 있도록 한다.
• 문장 수준의 주장을 주석 처리한 1,500개의 생물의학 초록으로 구성된 대규모 전문가 주석 데이터셋을 구축한다.
• 논의 구조와 사전 훈련된 언어 표현의 전이 학습을 활용한 주장 추출을 위한 딥 러닝 모델을 개발한다.
• 규칙 기반 및 전이 학습이 없는 딥 러닝 기반 기준 모델을 초월한 주장 추출 성능 향상을 도모한다.

제안 방법

• 저자는 전문가가 주석 처리한 주장이 포함된 1,500개의 생물의학 초록으로 구성된 새로운 데이터셋을 소개한다. 여기서 각 문장은 주장 또는 아님으로 레이블링된다.
• 순서 분류를 위해 Bi-LSTM과 조건부 랜덤 필드(CRF) 아키텍처를 사용하며, 이는 논의 주석 처리가 된 PubMed 데이터셋에서 사전 훈련된다.
• 전이 학습은 사전 훈련된 Bi-LSTM-CRF 모델을 새로운 주장 주석 처리 데이터셋에 대해 미세 조정하여 일반적인 논의 표현을 주장 탐지에 적응시키는 방식으로 적용된다.
• 모델은 사전 훈련된 단어 임베딩(GloVe 및 PubMed 전용)을 사용하며, 교차 엔트로피 손실과 CRF 디코딩을 통해 엔드 투 엔드로 훈련된다.
• 전문가 주석 처리를 지원하고 평가자 간 일致도를 점검하기 위해 주석 도구를 개발하였으며, 높은 품질의 데이터를 확보한다.
• 공개된 웹 서비스와 코드베이스를 제공하며, 논의 및 주장 예측을 위한 도구를 포함한다.

실험 결과

연구 질문

• RQ1 큰 규모의 논의 주석 처리 데이터셋에서 전이 학습을 통해 생물의학 문헌에서의 주장 추출 성능 향상이 가능한가?
• RQ2 전이 학습을 통한 딥 러닝 모델은 규칙 기반 및 전이 학습이 없는 딥 러닝 기준 모델에 비해 주장 추출에서 어떻게 성능을 냈는가?
• RQ3 사전 훈련된 단어 임베딩(GloVe 대비 PubMed 전용)이 주장 탐지 성능에 어떤 영향을 미치는가?
• RQ4 구조화된 초록에서 훈련된 모델이 전체 과학적 초록에서 주장 탐지에 얼마나 일반화되는가?
• RQ5 제안된 프레임워크는 생물의학 외의 다른 과학 분야로도 확장 가능한가?

주요 결과

• 제안된 전이 학습 기반 모델은 전이 학습이 없는 기준 모델 대비 F1 스코어에서 14.1%p 향상되었다.
• 모델은 규칙 기반 방법 대비 F1 스코어에서 47% 향상되어, 전이 학습을 통한 딥 러닝의 우수성을 입증했다.
• 새로운 주장 주석 처리 데이터셋에 대해 Bi-LSTM-CRF 모델을 미세 조정함으로써 성능 향상이 뚜렷하게 향상되었으며, 효과적인 지식 전이가 이루어졌음을 시사한다.
• GloVe 단어 임베딩(300차원)을 사용할 경우 PubMed 전용 단어 벡터(200차원)보다 더 높은 성능을 보였으며, 이는 더 큰 코퍼스 크기와 더 나은 공존 모델링 때문일 것이다.
• 모델은 초록의 후반부 문장을 주장으로 레이블링하는 경향이 약간 있었으며, 이는 생물의학 논문에서 흔한 경향이지만 다른 도메인에는 일반화되지 않을 수 있다.
• 저자들은 공개 데이터셋, 코드, 그리고 주장 및 논의 예측을 위한 웹 기반 도구를 배포하여 커뮤니티의 확장과 재사용을 가능하게 했다.