[논문 리뷰] Misspelling Correction with Pre-trained Contextual Language Model

Yifei Hu, Xiaonan Jing외 2명|arXiv (Cornell University)|2021. 01. 08.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

이 논문은 BERT의 마스킹 언어 모델링 기능을 활용한 문맥적 철자 오류 수정 방법을 제안한다. 후보어휘 순위 매기기에는 편집 거리(edit distance)를 사용한다. 사전 훈련된 BERT는 피드백 훈련 없이도 문맥 임베딩과 편집 거리를 활용하여 비어 있는 단어 및 실제 단어의 철자 오류를 효과적으로 수정함으로써, 비공식적인 소스에서 유래한 노이즈가 많고 다중 오류를 포함한 문장에서도 견고한 성능을 보인다.

ABSTRACT

Spelling irregularities, known now as spelling mistakes, have been found for several centuries. As humans, we are able to understand most of the misspelled words based on their location in the sentence, perceived pronunciation, and context. Unlike humans, computer systems do not possess the convenient auto complete functionality of which human brains are capable. While many programs provide spelling correction functionality, many systems do not take context into account. Moreover, Artificial Intelligence systems function in the way they are trained on. With many current Natural Language Processing (NLP) systems trained on grammatically correct text data, many are vulnerable against adversarial examples, yet correctly spelled text processing is crucial for learning. In this paper, we investigate how spelling errors can be corrected in context, with a pre-trained language model BERT. We present two experiments, based on BERT and the edit distance algorithm, for ranking and selecting candidate corrections. The results of our experiments demonstrated that when combined properly, contextual word embeddings of BERT and edit distance are capable of effectively correcting spelling errors.

연구 동기 및 목표

• 사전 훈련된 BERT가 피드백 훈련 없이도 문맥에서 철자 오류를 효과적으로 수정할 수 있는지 조사한다.
• BERT의 문맥 임베딩과 편집 거리를 조합하여 보정 후보어휘 순위 매기기의 효과성을 평가한다.
• 다중 오류나 비공식적 언어를 포함한 문장에서 BERT의 오류 수정에 대한 내성적 내구성(로버스트니)을 평가한다.
• BERT가 철자 오류 이외의 다양한 유형의 언어 오류(예: 문법 오류 등)를 보편적으로 수정하는 데 가능성을 탐색한다.
• 단일 파ip라인에서 철자 오류를 탐지하고 수정할 수 있는 BERT의 확장 가능성 여부를 조사한다.

제안 방법

• 비정상 단어의 후보 보정을 위해 BERT의 마스킹 토큰 예측 기능을 활용한다.
• 비정상 단어에서 허용 가능한 임계값(≤2) 이내의 편집 거리(예: 레벤슈타인 거리)를 기반으로 후보 보정어를 생성한다.
• 마스킹 토큰 위치에서 각 후보어에 대해 BERT가 예측한 확률을 기반으로 후보어를 순위 매긴다.
• 가장 높은 확률을 가진 후보어를 최종 보정 결과로 선택한다.
• 다중 오류를 포함한 비공식적 언어, 예를 들어 비-native 영어 문장에서 이 방법을 테스트한다.
• 표준 평가 지표를 사용하여 성능을 평가하며, 비어 있는 단어 오류와 실제 단어 오류를 통합된 프레임워크 내에서 다룬다.

실험 결과

연구 질문

• RQ1 BERT의 마스킹 언어 모델링 기능은 피드백 훈련 없이도 문맥에서 철자 오류를 효과적으로 수정할 수 있는가?
• RQ2 BERT의 문맥 임베딩과 편집 거리를 조합하면, 각각의 방법을 별도로 사용할 때보다 보정 정확도가 어떻게 향상되는가?
• RQ3 다중 오류나 비공식적 언어를 포함한 문장에서 BERT의 오류 수정 능력은 어느 정도 내성적 내구성을 보이는가?
• RQ4 동일한 프레임워크로 비어 있는 단어 오류와 실제 단어 오류를 효과적으로 보정할 수 있는가?
• RQ5 BERT를 단일 통합 파이프라인에서 철자 오류 탐지 및 수정에 확장하는 것은 가능한가?

주요 결과

• BERT는 피드백 훈련 없이도 사전 훈련된 가중치만으로도 철자 오류 수정에 뛰어난 성능을 보였다.
• BERT의 문맥 예측과 편집 거리의 조합은 기준 방법보다 보정 정확도를 크게 향상시켰다.
• BERT는 다중 오류나 비공식적 언어를 포함한 문장에서도 철자 오류를 성공적으로 수정하여 높은 내성적 내구성을 보였다.
• 비어 있는 단어 오류(예: 'acsese' → 'access')와 실제 단어 오류(예: 'exibitions' → 'exhibitions') 모두 효과적으로 보정하였다.
• 구두점과 문법이 일관되지 않은 소셜 미디어 스타일의 복잡한 노이즈가 많은 텍스트에서도 BERT는 정확한 보정 예측을 수행할 수 있었다.
• 이 접근법은 문법 오류와 같은 다른 오류 유형으로의 일반화 가능성을 보였으며, 이를 마스킹 예측 작업으로 재정의함으로써 가능성이 열렸다.