[논문 리뷰] Leveraging Domain Agnostic and Specific Knowledge for Acronym Disambiguation

Qiwei Zhong, Guanxiong Zeng외 5명|arXiv (Cornell University)|2021. 07. 01.

Biomedical Text Mining and Ontologies참고 문헌 18인용 수 7

한 줄 요약

이 논문은 과학적 약어 해석에 도메인에 관계없이 적용 가능한(RoBERTa) 및 도메인 특화된(SciBERT) 표현을 동시에 활용하는 계층적 이중경로 BERT 모델인 hdBERT를 제안한다. 다층 퍼셉트론을 통해 이러한 이중경로 문맥 임베딩을 융합함으로써, hdBERT는 SciAD 데이터셋에서 매크로 F1 점수 93.73%를 달성하여 이전 최고 성능 모델들을 능가한다.

ABSTRACT

An obstacle to scientific document understanding is the extensive use of acronyms which are shortened forms of long technical phrases. Acronym disambiguation aims to find the correct meaning of an ambiguous acronym in a given text. Recent efforts attempted to incorporate word embeddings and deep learning architectures, and achieved significant effects in this task. In general domains, kinds of fine-grained pretrained language models have sprung up, thanks to the largescale corpora which can usually be obtained through crowdsourcing. However, these models based on domain agnostic knowledge might achieve insufficient performance when directly applied to the scientific domain. Moreover, obtaining large-scale high-quality annotated data and representing high-level semantics in the scientific domain is challenging and expensive. In this paper, we consider both the domain agnostic and specific knowledge, and propose a Hierarchical Dual-path BERT method coined hdBERT to capture the general fine-grained and high-level specific representations for acronym disambiguation. First, the context-based pretrained models, RoBERTa and SciBERT, are elaborately involved in encoding these two kinds of knowledge respectively. Second, multiple layer perceptron is devised to integrate the dualpath representations simultaneously and outputs the prediction. With a widely adopted SciAD dataset contained 62,441 sentences, we investigate the effectiveness of hdBERT. The experimental results exhibit that the proposed approach outperforms state-of-the-art methods among various evaluation metrics. Specifically, its macro F1 achieves 93.73%.

연구 동기 및 목표

• 일般 도메인 사전 훈련 모델을 적용할 경우 과학적 약어 해석 성능이 낮아지는 문제를 해결하기 위해.
• 약어 해석을 위한 대규모 고품질 주석 데이터의 부족과 높은 비용 문제를 해결하기 위해.
• 세밀한 일반 지식과 고수준 과학 도메인 특화 의미를 통합하여 해석 정확도를 향상시키기 위해.
• 저자원 과학 NLP 작업에서 성능 향상을 위해 여러 사전 훈련된 언어 모델을 효과적으로 통합하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 바이트 수준 BPE 토크나이제이션을 사용해 일반 도메인 코퍼스에서 사전 훈련된 RoBERTa를 활용하여 도메인에 관계없이 적용 가능한 세밀한 의미 표현을 추출한다.
• WordPiece 토크나이제이션을 사용해 대규모 과학 논문 코퍼스에서 사전 훈련된 SciBERT를 활용하여 고수준 과학 도메인 특화 의미를 모델링한다.
• 입력 문장과 후보 장문 형태를 RoBERTa 및 SciBERT 인코더에 동시에 입력하여 이중경로 문맥 표현을 생성한다.
• 두 모델의 최종 히든 상태를 연결하여 다층 퍼셉트론을 통해 엔드 투 엔드 분류를 수행한다.
• Supervised fine-tuning을 통해 SciAD 데이터셋에서 교차 엔트로피 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• Transformer 아키텍처를 활용하여 문맥과 후보 확장 간의 장거리 의존성을 효과적으로 모델링한다.

실험 결과

연구 질문

• RQ1 도메인에 관계없이 적용 가능한 모델과 도메인 특화 모델을 융합하면 과학적 텍스트에서 약어 해석 성능이 향상되는가?
• RQ2 RoBERTa와 SciBERT의 이중경로 표현 융합 방식은 단일 모델 기반 베이스라인 대비 해석 정확도에 어떤 영향을 미치는가?
• RQ3 hdBERT는 SciAD 벤치마크에서 기존 최고 성능 모델들을 얼마나 뛰어넘는가?
• RQ4 현재 모델의 실패 케이스는 무엇이며, 이중경로 모델링 방식은 단일 모델이 실패하는 모호한 케이스를 해결하는 데 기여하는가?

주요 결과

• hdBERT는 SciAD 데이터셋에서 매크로 F1 점수 93.73%를 기록하여 이전 최고 성능 모델들을 뚜렷이 능가한다.
• RoBERTa 및 SciBERT 단독 사용 대비 개발 세트에서 더 빠른 수렴과 낮은 손실을 보이며, 이중 표현 융합의 효과성을 입증한다.
• RoBERTa와 SciBERT가 개별적으로 실패하는 경우(예: 'SM'을 'Shared Memory'로 예측하는 경우), hdBERT는 정확한 장문 형태를 올바르게 식별한다.
• 비록 성능 향상이 있었지만, 모든 모델(포함해 hdBERT)은 여전히 인간의 성능을 빛보다 못하며, 특히 매크로 리콜과 F1에서 성능이 떨어져 향후 연구 여건이 충분히 확보되어야 한다.
• 모델은 'Federated Learning'과 같은 높은 빈도의 표현에서 어려움을 겪으며, 주의 편향으로 인해 'FL'을 'Federated Learning'로 잘못 분류하는 경우가 많다.
• 데이터셋 내 노이즈, 예를 들어 'RF'가 'Regression Forest'와 'Regression Function'으로 동시에 레이블링된 충돌 레이블 등은 모델 일반화 능력에 악영향을 줄 수 있다.