[논문 리뷰] SciDr at SDU-2020: IDEAS -- Identifying and Disambiguating Everyday Acronyms for Scientific Domain

Aadarsh Singh, Priyanshu Kumar|arXiv (Cornell University)|2021. 02. 17.

Biomedical Text Mining and Ontologies참고 문헌 25인용 수 4

한 줄 요약

이 논문은 과학적 텍스트에서 약어 식별(AC)과 약어 해석(AD)을 위한 BERT 및 SciBERT 기반 접근법을 제시한다. AC는 시퀀스 태깅 문제로 간주하고, AD는 스파니언 예측 문제로 간주한다. 이 시스템은 SDU-2020 공동 과제에서 AC 부문 11위, AD 부문 3위를 기록하였으며, BIOless 태깅, 모델 블렌딩, 외부 데이터, 후처리 기법을 활용하여 낮은 맥락을 가진 약어에 대한 성능을 향상시켰다.

ABSTRACT

We present our systems submitted for the shared tasks of Acronym Identification (AI) and Acronym Disambiguation (AD) held under Workshop on SDU. We mainly experiment with BERT and SciBERT. In addition, we assess the effectiveness of "BIOless" tagging and blending along with the prowess of ensembling in AI. For AD, we formulate the problem as a span prediction task, experiment with different training techniques and also leverage the use of external data. Our systems rank 11th and 3rd in AI and AD tasks respectively.

연구 동기 및 목표

• 수동 애너테이션의 비용과 시간 소모가 크기 때문에 과학 문서에서 약어를 식별하고 해석하는 데 어려움을 해결한다.
• 도메인 전문가가 약어를 탐지하고 정확한 전문어 확장을 선택하는 방식을 모방하는 자동화된 NLP 시스템을 개발한다.
• 도메인 특화 미사전훈련(SciBERT)과 고급 딥러닝 기법을 활용하여 약어 식별 및 해석 성능을 향상시킨다.
• 데이터 증강, 외부 지식, 모델 앙상블의 영향을 분석하여 저자원 환경에서의 모델의 견고성과 정확도 향상 여부를 조사한다.
• 예측 오류와 데이터셋 애너테이션의 한계, 특히 충분한 맥락 신호가 부족한 약어에 대한 문제점을 규명한다.

제안 방법

• BERT와 SciBERT를 사용하여 약어 식별을 시퀀스 태깅 문제로 간주하고, 레이블링을 단순화하고 학습 효율성을 향상시키기 위해 BIOless 태깅을 적용한다.
• 다양한 모델의 예측을 결합하기 위해 모델 블렌딩 및 하드 보팅 앙상블 전략을 적용하여 견고성과 일반화 능력을 향상시킨다.
• 약어 해석을 스팬 예측 작업으로 설정하여, 맥락에 기반해 후보 목록에서 정확한 전문어 확장을 선택하도록 모델을 설계한다.
• 두 단계 훈련 전략을 사용하여 SDU-2020 데이터셋에 대해 SciBERT를 미세조정하고, 외부 과학 텍스트를 통합하여 희귀 약어에 대한 지식 투입과 성능 향상을 도모한다.
• 약어가 괄호 안에 직접 전문어로 확장된 경우에 바로 전문어를 예측하는 후처리 규칙을 구현하여 모델 오류를 수정한다.
• 교차 검증과 테스트 세트 예측을 통해 모델 성능을 평가하고, 개별 모델과 앙상블 간의 차이를 분석하여 향상 방향을 도출한다.

실험 결과

연구 질문

• RQ1 과학적 텍스트에서 약어 식별 및 해석에 있어 일반 BERT에 비해 SciBERT의 효과는 어떠한가?
• RQ2 표준 BIO 태깅에 비해 BIOless 태깅이 약어 식별 성능 향상에 얼마나 기여하는가?
• RQ3 모델 앙상블 및 블렌딩이 특히 모호하거나 빈도가 낮은 약어에 대해 해석 정확도를 크게 향상시킬 수 있는가?
• RQ4 외부 과학 텍스트를 통합할 경우 모델의 일반화 능력과 희귀 또는 OOV(Out-of-Vocabulary) 약어에 대한 성능 향상에 어떤 영향을 미치는가?
• RQ5 모델의 주요 실패 유형은 무엇이며, 맥락이 부족한 경우와 같은 데이터셋 애너테이션 문제는 예측 신뢰도에 어떤 영향을 미치는가?

주요 결과

• 이 시스템은 SDU-2020 공동 평가에서 약어 식별(AC) 부문 11위, 약어 해석(AD) 부문 3위를 기록하였다.
• SciBERT는 과학 문헌 코퍼스로 미사전훈련된 덕분에 일반 BERT보다 우수한 성능을 보였으며, 도메인 특화 언어 모델링의 이점을 입증하였다.
• BIOless 태깅과 모델 블렌딩은 복잡하거나 모호한 약어-전문어 쌍을 처리하는 데 있어 약어 식별 성능 향상에 크게 기여하였다.
• 앙상블은 예측 분산을 감소시키고, 개별 모델이 서로 다를 경우 92개의 테스트 인스턴스에서 정확도를 향상시켰으며, 특히 맥락이 제한된 약어에 대해 유의미한 개선 효과를 보였다.
• 괄호 안에 전문어가 명시된 경우를 대비한 후처리 규칙이 15%의 경우에서 모델 오류를 수정하여 효과를 보였다.
• 모델는 맥락 신호가 부족하거나 다수의 타당한 전문어 확장이 존재하는 경우(예: LPP, GCN)에 가장 어려움을 겪었으며, 이는 더 나은 맥락 모델링 또는 데이터 증강 필요성을 시사한다.