[논문 리뷰] Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding

Amir Pouran Ben Veyseh, Franck Dernoncourt외 3명|arXiv (Cornell University)|2020. 12. 22.

Biomedical Text Mining and Ontologies참고 문헌 31인용 수 12

한 줄 요약

이 논문은 과학적 문서 이해를 위한 약어 식별 및 해석(shared tasks)인 AI@SDU와 AD@SDU를 제시하며, 과학적 약어를 위한 첫 번째 대규모 수작업 주석 데이터셋인 SciAI(17,506개 문장)와 SciAD(62,441개 문장)를 소개한다. 최고 성능을 기록한 시스템인 DeepBlueAI는 BERT 기반 이진 분류 접근법을 사용하여 해석 작업에서 94.05% F1을 기록했으며, 기준 모델보다 뚜렷이 뛰어나지만 여전히 인간 수준 성능(96.10% F1)에 못 미친다.

ABSTRACT

Acronyms are the short forms of longer phrases and they are frequently used in writing, especially scholarly writing, to save space and facilitate the communication of information. As such, every text understanding tool should be capable of recognizing acronyms in text (i.e., acronym identification) and also finding their correct meaning (i.e., acronym disambiguation). As most of the prior works on these tasks are restricted to the biomedical domain and use unsupervised methods or models trained on limited datasets, they fail to perform well for scientific document understanding. To push forward research in this direction, we have organized two shared task for acronym identification and acronym disambiguation in scientific documents, named AI@SDU and AD@SDU, respectively. The two shared tasks have attracted 52 and 43 participants, respectively. While the submitted systems make substantial improvements compared to the existing baselines, there are still far from the human-level performance. This paper reviews the two shared tasks and the prominent participating systems for each of them.

연구 동기 및 목표

• 과학적 문서에서 약어 식별 및 해석을 위한 대규모 수작업 주석 데이터셋의 부족 문제를 해결하기 위해.
• 이전 연구가 종종 생물의학 분야에 국한되거나, 무감독 방법 및 소규모 데이터셋을 사용하는 데서 비롯되는 한계를 극복하기 위해.
• 공동 과제를 통해 약어 처리 시스템의 성능을 평가하고 향상시킴으로써 과학적 문서 이해를 촉진하기 위해.
• 향후 과학적 텍스트의 약어 처리 연구를 지원하기 위해 공개 가능한 고품질 데이터셋(SysAI 및 SciAD)을 제공하기 위해.

제안 방법

• 저자들은 과학 논문(arXiv)에서 추출한 17,506개 문장의 수작업 주석 데이터셋인 SciAI를 구축하여 약어 식별을 위해 사용하였다.
• 732개의 모호한 약어로 구성된 사전을 활용하여, 더 큰 규모의 62,441개 문장 데이터셋인 SciAD를 구축하여 약어 해석을 위해 사용하였다.
• AI@SDU 공동 과제는 SciAI를 사용하여 과학적 텍스트에서 약어와 그 긴 표현을 식별하는 시스템의 성능을 평가하였다.
• AD@SDU 공동 과제는 SciAD를 사용하여 다수 후보 중 정답 긴 표현을 선택하는 시스템의 성능을 평가하였다.
• 참가자들은 SVM, 나이브 베이즈 등의 특징 기반 모델, LSTM, CNN 등의 신경망, BERT, RoBERTa 등의 트랜스포머 기반 모델을 포함한 다양한 방법을 활용하였다.
• 최고 성능을 기록한 시스템인 DeepBlueAI는 약어 위치를 표시하는 특수 토큰을 사용한 순서 입력 형식 [long_form] [SEP] [sentence]을 사용하는 BERT 기반 이진 분류 모델을 사용하였다.

실험 결과

연구 질문

• RQ1 기존의 과학적 문서에서의 약어 식별 방법은 기준 모델 대비 얼마나 효과적인가?
• RQ2 신경망 및 트랜스포머 기반 모델은 과학적 텍스트에서 약어 해석을 얼마나 향상시킬 수 있는가?
• RQ3 최첨단 시스템과 인간 수준 성능 사이의 성능 격차는 약어 해석에서 얼마나 큰가?
• RQ4 특징 기반, 신경망, 트랜스포머 기반 모델 등의 다양한 모델링 접근법은 약어 해석에서 어떻게 비교되는가?
• RQ5 대규모 수작업 주석 데이터셋은 약어 처리 작업의 성능 향상에 뚜렷한 기여를 할 수 있는가?

주요 결과

• AI@SDU 공동 과제에는 총 52개 팀이 참가하여 19개의 제출을 하였으며, 최고 성능 시스템(hdBERT)은 정밀도 96.94%, 재현율 90.73%, F1 점수 93.73%를 기록하였다.
• AD@SDU 공동 과제에는 총 44개 팀이 참가하여 12개의 제출을 하였으며, 최고 성능 시스템(DeepBlueAI)은 SciAD 테스트 세트에서 정밀도 96.95%, 재현율 91.32%, F1 점수 94.05%를 기록하였다.
• 기준 모델(60.97% F1)에 비해 뚜렷한 향상이 있었음에도 불구하고, 최고 성능 시스템은 여전히 인간 수준 성능(정밀도 97.82%, 재현율 94.45%, F1 점수 96.10%)에 못 미쳤다.
• 특히 BERT와 RoBERTa를 포함한 트랜스포머 기반 모델이 두 과제 모두에서 전통적인 특징 기반 및 신경망 모델보다 뛰어난 성능을 보였다.
• 구간 예측 및 정보 검색 접근법(예: 임베딩의 코사인 유사도 사용)도 경쟁적인 성능을 보였으며, 이는 해석에 다양한 효과적인 전략이 존재함을 시사한다.
• 공개된 SciAI 및 SciAD 데이터셋은 과학적 문서에서의 약어 처리를 위한 가장 큰 수작업 주석 자원으로 간주된다.