[논문 리뷰] SwellShark: A Generative Model for Biomedical Named Entity Recognition without Labeled Data

Jason Fries, Sen Wu외 2명|arXiv (Cornell University)|2017. 04. 20.

Topic Modeling참고 문헌 16인용 수 90

한 줄 요약

SwellShark는 다항 생성 모델을 이용해 어휘집과 휴리스틱으로부터 신호를 정제하고 약한 감독으로 생물의학 NER 태거를 구축하여 손으로 라벨링된 데이터 없이도 경쟁력 있는 결과를 달성합니다.

ABSTRACT

We present SwellShark, a framework for building biomedical named entity recognition (NER) systems quickly and without hand-labeled data. Our approach views biomedical resources like lexicons as function primitives for autogenerating weak supervision. We then use a generative model to unify and denoise this supervision and construct large-scale, probabilistically labeled datasets for training high-accuracy NER taggers. In three biomedical NER tasks, SwellShark achieves competitive scores with state-of-the-art supervised benchmarks using no hand-labeled training data. In a drug name extraction task using patient medical records, one domain expert using SwellShark achieved within 5.1% of a crowdsourced annotation approach -- which originally utilized 20 teams over the course of several weeks -- in 24 hours.

연구 동기 및 목표

• 생물의학 NER에서 손으로 라벨링된 학습 데이터의 필요성을 줄이거나 없앰
• 생물의학 어휘집, 온톨로지, 휴리스틱을 약한 감독 소스로 활용
• 대규모 확률적 학습 집합을 구성하기 위해 자동으로 후보 및 라벨링 함수 생성
• 다항 생성 모델로 약한 감독을 통합하고 정제하여 엔티티 경계를 추론
• 여러 생물의학 NER 태스크에서 확장성 및 빠른 도메인 적응을 증명

제안 방법

• 문서에서 잠재 엔티티 언급을 식별하기 위한 자동 후보 생성.
• 어휘집과 휴리스틱을 라벨링 함수로 변환하여 자동 생성 감독.
• 감독 자원을 여러 라벨링 함수로 변환하는 라벨링 함수 생성기.
• 겹치는 범위와 상호 배제 제약을 고려하는 다항 생성 모델로 엔티티 경계를 추정.
• 표본추출 기반 데이터 구성으로 판별 모델(CRF/LSTM-CRF) 학습을 위한 확률적 라벨 생성.
• 최대 100k개의 비라벨드 문서로 성능을 보이는 확장성 실험.

실험 결과

연구 질문

• RQ1 자동 후보 생성 전략이 손으로 조정된 생성기와 비교해 얼마나 잘 작동하는가?
• RQ2 어휘 자원으로부터 파생된 자동생성 감독이 생물의학 NER에 얼마나 효과적인가?
• RQ3 SwellShark가 최소한의 인간 입력으로 대규모 비라벨드 데이터셋을 사용해 고정밀 태거를 학습할 수 있는가?
• RQ4 질병 및 화학 NER 태스크에서 약한 감독 모델이 감독된 기준에 얼마나 근접할 수 있는가?
• RQ5 SwellShark를 사용해 한정된 시간(예: 24시간) 내에 도메인 특화 NER 태거를 얼마나 빠르게 구축할 수 있는가?

주요 결과

• SwellShark는 손으로 라벨링된 학습 데이터 없이도 최첨단 감독 학습 벤치마크와 경쟁력 있는 점수를 달성합니다.
• 최대 100k개의 비라벨드 문서로 성능을 보이는 확장성 실험에서 태거 정확도가 같은 모델이 ≤1k 문서로 학습되었을 때보다 최대 6.7%p(4.9 F1 포인트) 향상됩니다.
• 약물명 추출 작업에서 한 도메인 전문가가 24시간 만에 태거를 구축하여 수 주에 걸쳐 20개 팀이 활용한 크라우드소싱 주석 방식과 5.1% 포인트 차이 이내의 점수를 얻었습니다.
• 자동 명사구 후보 생성은 수작업으로 조정된 성능에 근접할 수 있으며, LSTM-CRF 모델은 임베딩의 이점을 받고 일반적으로 더 큰 비라벨드 데이터에서 더 빠르게 수렴합니다.
• 스팬셋 의존성(상호 배제)을 모델링하면 일부 설정에서 F1이 최대 4.7%(3.4 포인트) 개선됩니다.