[논문 리뷰] Unsupervised Context-Sensitive Spelling Correction of English and Dutch Clinical Free-Text with Word and Character N-Gram Embeddings

Pieter Fivez, Simon Šuster외 1명|arXiv (Cornell University)|2017. 01. 01.

Natural Language Processing Techniques인용 수 2

한 줄 요약

이 논문은 단어 및 문자 n-그램 임베딩을 사용하여 영어 및 네덜란드어 임상 자유 텍스트에 대해 비지도 학습, 문맥 민감한 철자 교정 방법을 제안한다. 이 방법은 문맥 벡터와의 가중치가 부여된 코사인 유사도를 통해 오타 후보를 순위 매긴다. MIMIC-III(영어)에서는 기존의 상용 도구를 능가하며, 네덜란드어 임상 기록에서는 최신 기술 수준의 성능을 달성한다. 다만 빈도 편향 보완 효과는 영어에서만 경험적으로 확인되었다.

ABSTRACT

We present an unsupervised context-sensitive spelling correction method for clinical free-text that uses word and character n-gram embeddings. Our method generates misspelling replacement candidates and ranks them according to their semantic fit, by calculating a weighted cosine similarity between the vectorized representation of a candidate and the misspelling context. To tune the parameters of this model, we generate self-induced spelling error corpora. We perform our experiments for two languages. For English, we greatly outperform off-the-shelf spelling correction tools on a manually annotated MIMIC-III test set, and counter the frequency bias of a noisy channel model, showing that neural embeddings can be successfully exploited to improve upon the state-of-the-art. For Dutch, we also outperform an off-the-shelf spelling correction tool on manually annotated clinical records from the Antwerp University Hospital, but can offer no empirical evidence that our method counters the frequency bias of a noisy channel model in this case as well. However, both our context-sensitive model and our implementation of the noisy channel model obtain high scores on the test set, establishing a state-of-the-art for Dutch clinical spelling correction with the noisy channel model.

연구 동기 및 목표

• 임상 자유 텍스트에서의 철자 오류 문제를 다루며, 이는 임상 NLP 작업을 방해한다.
• 병렬 기준 데이터가 필요한 학습 데이터에 의존하지 않는 문맥 민감한 철자 교정 방법을 개발한다.
• 철자 교정을 위한 노이즈 채널 모델에서 흔히 발생하는 빈도 편향을 극복한다.
• 이 분야에서 자원이 적은 언어인 네덜란드어 임상 텍스트로 최신 기술 수준의 철자 교정 성능을 확장한다.
• 신경망 기반의 단어 및 문자 n-그램 임베딩이 교정을 위한 의미적 문맥을 모델링하는 데 효과적임을 입증한다.

제안 방법

• 기준 오류 레이블이 없는 상태에서 모델 초모수를 튜닝하기 위해 자기 유도 철자 오류 코퍼스를 생성한다.
• 단어 및 문자 n-그램 임베딩을 사용하여 오타 및 그 주변 문맥을 모두 표현한다.
• 문맥 벡터와 후보 교정 벡터 간의 가중치가 부여된 코사인 유사도를 계산하여 교체 후보를 순위 매긴다.
• 빈도 기반 보다 의미적으로 타당한 교정을 우선시하는 문맥 민감한 점수 계산 메커니즘을 적용한다.
• 단일 언어의 임상 텍스트에만 의존하여 비지도 방식으로 모델을 학습하고 평가한다.
• 동일한 평가 설정을 사용하여 비교를 위한 기준 노이즈 채널 모델을 구현한다.

실험 결과

연구 질문

• RQ1 병렬 학습 데이터가 없는 상황에서 단어 및 문자 n-그램 임베딩이 임상 텍스트의 문맥 민감한 철자 교정을 효과적으로 향상시킬 수 있는가?
• RQ2 제안된 방법이 기존의 노이즈 채널 모델에서 관찰되는 빈도 편향을 줄이는가?
• RQ3 이 방법은 영어 외의 자원이 적은 임상 언어 환경(예: 네덜란드어)으로 얼마나 일반화될 수 있는가?
• RQ4 수동으로 레이블이 부여된 임상 데이터셋에서 이 모델은 상용 철자 교정 도구보다 어떻게 성능을 발휘하는가?
• RQ5 이 모델은 영어 및 네덜란드어 임상 철자 교정 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 수동으로 레이블이 부여된 MIMIC-III 영어 테스트 세트에서 상용 철자 교정 도구를 뚜렷이 능가한다.
• 영어에서 노이즈 채널 모델의 빈도 편향을 효과적으로 완화하여 의미적 문맥 모델링의 이점을 입증한다.
• 네덜란드어에서는 상용 도구를 능가하며 안트워프 대학교 병원 데이터셋에서 새로운 최신 기술 수준의 성능을 확립한다.
• 강력한 성능에도 불구하고 네덜란드어 환경에서는 빈도 편향 보완 효과에 대한 경험적 증거를 발견하지 못했다.
• 문맥 민감한 모델과 노이즈 채널 모델 모두 네덜란드어 테스트 세트에서 높은 점수를 기록하여 강력한 기준 성능을 보였다.
• 자기 유도 오류 코퍼스의 사용은 기준 오류 레이블이 없는 상황에서 효과적인 초모수 튜닝을 가능하게 한다.