[논문 리뷰] An unsupervised and customizable misspelling generator for mining noisy health-related text sources

Abeed Sarker, Graciela Gonzalez‐Hernandez|arXiv (Cornell University)|2018. 06. 03.

Topic Modeling참고 문헌 29인용 수 61

한 줄 요약

이 논문은 복잡한 건강 관련 용어의 일반적이고 의미적으로 관련된 철자 오류를 자동으로 생성하기 위해 밀도 높은 단어 임베딩과 의미-어휘 필터링을 활용하는 비지도, 데이터 중심의 철자 오류 생성기를 제시한다. 이 시스템은 F1 점수 0.69를 기록하며 최신 기술을 초월하며, 암 관련 용어에 적용했을 때 트위터 검색 빈도를 67% 이상 향상시킨다.

ABSTRACT

In this paper, we present a customizable datacentric system that automatically generates common misspellings for complex health-related terms. The spelling variant generator relies on a dense vector model learned from large unlabeled text, which is used to find semantically close terms to the original/seed keyword, followed by the filtering of terms that are lexically dissimilar beyond a given threshold. The process is executed recursively, converging when no new terms similar (lexically and semantically) to the seed keyword are found. Weighting of intra-word character sequence similarities allows further problem-specific customization of the system. On a dataset prepared for this study, our system outperforms the current state-of-the-art for medication name variant generation with best F1-score of 0.69 and F1/4-score of 0.78. Extrinsic evaluation of the system on a set of cancer-related terms showed an increase of over 67% in retrieval rate from Twitter posts when the generated variants are included. Our proposed spelling variant generator has several advantages over the current state-of-the-art and other types of variant generators-(i) it is capable of filtering out lexically similar but semantically dissimilar terms, (ii) the number of variants generated is low as many low-frequency and ambiguous misspellings are filtered out, and (iii) the system is fully automatic, customizable and easily executable. While the base system is fully unsupervised, we show how supervision maybe employed to adjust weights for task-specific customization. The performance and significant relative simplicity of our proposed approach makes it a much needed misspelling generation resource for health-related text mining from noisy sources. The source code for the system has been made publicly available for research purposes.

연구 동기 및 목표

• 소셜 미디어와 같은 노이즈가 많은 텍스트 소스에서 복잡한 의료 용어의 빈번한 철자 오류로 인해 관련 데이터가 누락되는 문제를 해결하기 위해.
• 의미적으로나 어휘적으로 타당한 철자 오류만 생성하고 관련성이 없는 변형을 피하는 완전 자동화된 비지도 시스템을 개발하기 위해.
• NLP나 기계학습 전문 지식이 필요 없는 연구자들이 사용할 수 있는 사용자 정의 가능하고 즉시 사용 가능한 도구를 만들기 위해.
• 정밀도 제어 가능한 변형 생성을 통해 가짜 양성 결과를 줄이고 API 키워드 제한을 최소화함으로써 데이터 수집 효율을 향상시키기 위해.

제안 방법

• 시스템은 대규모 비라벨 텍스트에서 학습된 사전 훈련된 밀도 높은 벡터 모델(단어 임베딩)을 사용하여 시드 키워드와 의미적으로 유사한 용어를 찾는다.
• 재귀적 필터링을 적용하여 시드와 의미적으로 가까운(임베딩 유사도 기반) 동시에 철자적으로 유사한(편집 거리 기반) 용어만 유지한다.
• 임계값 기반 필터링 메커니즘이 특정 어휘적 및 의미적 거리 이내의 변형만 유지하도록 보장한다.
• 특정 용도에 맞게 정밀도와 재현율을 세밀하게 조정하기 위해 내부 문자 시퀀스 유사도의 가중치를 사용자 정의할 수 있다.
• 기본적으로 완전히 비지도이지만, 작업에 맞는 가중치 조정을 위해 경량 지도 학습을 지원한다.
• 알고리즘은 파이썬으로 구현되었으며 외부 종속성 없이도 쉽게 배포하고 사용자 정의할 수 있도록 설계되었다.

실험 결과

연구 질문

• RQ1 기존의 청각 기반 또는 규칙 기반 방법과 비교해 복잡한 의료 용어에 대해 더 정확하고 관련성이 높은 철자 오류 변형을 데이터 중심의 비지도 접근 방식이 생성할 수 있는가?
• RQ2 생성된 철자 오류를 사용할 때, 트위터와 같은 노이즈가 많은 소스에서 실제 건강 관련 콘텐츠를 얼마나 효과적으로 검색할 수 있는가?
• RQ3 의미적 및 어휘적 필터링을 통해 철자 오류 생성 시 가짜 양성 결과를 어느 정도 줄일 수 있으며, 同시에 높은 재현율을 유지할 수 있는가?
• RQ4 재훈련 없이도 응용 분야의 요구 사항에 따라 정밀도 또는 재현율을 우선시할 수 있는가?
• RQ5 의약품 이름과 질병 용어와 같은 다양한 의료 분야에서 시스템의 성능은 어떻게 변화하는가?

주요 결과

• 20개의 약물 이름으로 구성된 벤치마크 데이터셋에서 F1 점수 0.69를 기록하여 현재 최신 기술을 초월했다.
• 암 관련 용어를 사용한 외부 평가에서 생성된 변형을 포함시킴으로써 트위터에서의 검색 빈도가 67% 이상 향상되었다.
• 의미적으로 관련 없지만 철자적으로 유사한 용어를 필터링함으로써 가짜 양성 결과를 크게 줄여 정밀도를 향상시켰다.
• 가중치 기반 변형 생성 모드가 덜로크시틴과 파록시신과 같이 유사한 약물 간의 가짜 양성 결과를 성공적으로 줄였다.
• 작고 관리하기 쉬운 수준의 고품질 변형을 생성하여 트위터와 같은 키워드 제한이 있는 API와도 적합했다.
• 오류 분석 결과, 임베딩 공간에 잘 반영되지 않은 저빈도 철자 오류가 낮은 재현율의 주요 원인임을 확인했으며, 더 큰 또는 도메인 전용 학습 데이터를 사용하면 성능 향상이 가능할 것으로 보인다.