[논문 리뷰] Improving Tagging Consistency and Entity Coverage for Chemical Identification in Full-text Articles

Hyunjae Kim, Mujeen Sung외 3명|arXiv (Cornell University)|2021. 11. 20.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 전체 생물의학 논문에서 화학 물질 식별의 태깅 일관성과 실체 커버리지 향상을 위해 사전 기반 정규화와 신경망 기반 명명된 실체 인식(NER)을 조합한 하이브리드 접근법을 제안하며, 논문 내 다수결 투표 기법을 도입한다. NLM-Chem 데이터셋과 BioCreative VII 챌린지에서 평가된 결과, 최신 기술 수준의 성능을 달성하여 NER 부문에서 기준 모델 대비 높은 재현율을 확보하고 80개 이상의 제출물 중 1위를 기록하였다.

ABSTRACT

This paper is a technical report on our system submitted to the chemical identification task of the BioCreative VII Track 2 challenge. The main feature of this challenge is that the data consists of full-text articles, while current datasets usually consist of only titles and abstracts. To effectively address the problem, we aim to improve tagging consistency and entity coverage using various methods such as majority voting within the same articles for named entity recognition (NER) and a hybrid approach that combines a dictionary and a neural model for normalization. In the experiments on the NLM-Chem dataset, we show that our methods improve models' performance, particularly in terms of recall. Finally, in the official evaluation of the challenge, our system was ranked 1st in NER by significantly outperforming the baseline model and more than 80 submissions from 16 teams.

연구 동기 및 목표

• 전체 생물의학 논문에서의 화학 물질 식별 시 낮은 실체 커버리지와 일관성 없는 태깅 문제를 해결하기 위해.
• 제목과 초록만 포함된 데이터셋보다 더 복잡한 전체 논문 데이터에서의 모델 성능 향상을 위해.
• 동일 논문의 다양한 단락 간 태깅 일관성을 향상시키기 위해 논문 내 투표 기반 메커니즘을 활용하기 위해.
• 신경망 모델과 화학 사전을 조합한 하이브리드 정규화 접근법을 통해 재현율을 향상시키기 위해.
• BioCreative VII 트랙 2 챌린지에서 화학 물질 식별 분야에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 사전에 정의된 화학 사전과 심층 신경망을 조합한 하이브리드 정규화 전략을 적용하여 실체 인식을 수행한다.
• 동일 논문의 다양한 단락 간 다수결 투표를 적용하여 NER 예측의 일관성 문제를 해결한다.
• NLM-Chem 데이터셋에 맞추어 미세조정된 시퀀스 레이블링 모델(예: BERT 기반)을 사용하여 명명된 실체 인식을 수행한다.
• 다양한 모델 헤드 또는 추론 실행 결과를 통합하여 신뢰도와 일관성을 향상시킨다.
• 전체 논문의 맥락 정보를 활용하여 복잡한 문장 구조에서의 화학 실체 인식 능력을 향상시킨다.
• 공식 BioCreative VII 챌린지에 도입하기 전에 NLM-Chem 데이터셋을 대상으로 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 동일 논문의 다양한 단락 간 다수결 투표가 화학 NER의 태깅 일관성 향상에 기여하는가?
• RQ2 신경망 모델과 화학 사전을 조합함으로써 실체 커버리지와 재현율이 얼마나 향상되는가?
• RQ3 전체 생물의학 논문에서 하이브리드 NER 시스템의 성능은 순수 신경망 모델 대비 어떻게 비교되는가?
• RQ4 논문 내 일관성 메커니즘은 화학 실체 인식에서 거짓 음성(false negatives)을 줄이는 데 기여하는가?
• RQ5 전체 논문 맥락은 희귀하거나 복잡한 화학 실체 인식 향상에 어떤 영향을 미치는가?

주요 결과

• 제안된 시스템은 BioCreative VII 트랙 2 챌린지에서 가장 높은 순위를 기록하여 총 16개 팀에서 올린 80개 이상의 제출물 중 1위를 차지하였다.
• 하이브리드 정규화 접근법은 특히 희귀하거나 복잡한 화학 실체에서 기준 모델 대비 재현율을 크게 향상시켰다.
• 논문 내 단락 간 다수결 투표로 태깅의 일관성 문제가 감소하여 전체 태깅 신뢰도가 향상되었다.
• 전체 논문 데이터에서 높은 성능을 보였으며, 제목과 초록 전용 데이터셋보다 더 도전적인 환경임을 입증하였다.
• NLM-Chem 데이터셋에서 최신 기술 수준의 성능을 달성하여 제안된 기법의 효과성을 확인하였다.
• 신경망 기반 NER와 사전 기반 정규화의 조합이 실체 커버리지와 일관성 향상에 측정 가능한 기여를 하였다.