[논문 리뷰] Spelling Error Correction with Soft-Masked BERT

Shaohua Zhang, Haoran Huang외 2명|arXiv (Cornell University)|2020. 05. 15.

Natural Language Processing Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 소프트 마스킹을 통해 Bi-GRU 기반 오류 탐지 네트워크와 BERT 기반 보정 네트워크를 통합함으로써 중국어 철자 오류 보정을 향상시키는 이중 스트림 신경망 아키텍처인 Soft-Masked BERT를 제안한다. 표준 BERT 미세조정 대비 확률적 마스킹을 통해 맥락 인식 오류 보정을 가능하게 함으로써 두 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Spelling error correction is an important yet challenging task because a satisfactory solution of it essentially needs human-level language understanding ability. Without loss of generality we consider Chinese spelling error correction (CSC) in this paper. A state-of-the-art method for the task selects a character from a list of candidates for correction (including non-correction) at each position of the sentence on the basis of BERT, the language representation model. The accuracy of the method can be sub-optimal, however, because BERT does not have sufficient capability to detect whether there is an error at each position, apparently due to the way of pre-training it using mask language modeling. In this work, we propose a novel neural architecture to address the aforementioned issue, which consists of a network for error detection and a network for error correction based on BERT, with the former being connected to the latter with what we call soft-masking technique. Our method of using `Soft-Masked BERT' is general, and it may be employed in other language detection-correction problems. Experimental results on two datasets demonstrate that the performance of our proposed method is significantly better than the baselines including the one solely based on BERT.

연구 동기 및 목표

• BERT의 사전 훈련 목적이 약 15%의 토큰만 마스킹하고 명시적 오류 탐지 능력이 없기 때문에 발생하는 오류 탐지 한계를 해결하기 위해.
• BERT의 맥락적 표현과 전용 오류 탐지 메커니즘을 통합하여 중국어 철자 오류 보정(CSC)의 보정 정확도를 향상시키기 위해.
• 하드 마스킹의 미분 가능하고 확률적인 확장인 소프트 마스킹을 도입함으로써 탐지-보정 작업에 일반화 가능한 프레임워크를 개발하기 위해.
• 기존 및 새로 생성된 대규모 평가 데이터셋에서 제안된 아키텍처의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 모델은 각 문자 위치에서 오류 발생 확률을 예측하는 Bi-GRU 기반 탐지 네트워크와 BERT 기반 보정 네트워크로 구성된다.
• 이러한 오류 확률은 BERT 임bedding에 소프트 마스킹을 적용하는 데 사용되며, 해당 문자의 임베딩은 예측된 오류 확률 비례로 감쇠된다.
• 소프트 마스킹은 미분 가능하며 하드 마스킹의 일반화된 형태로, 오류 확률이 1일 경우 마스킹된 토큰을 0으로 설정한다.
• 소프트 마스킹된 임베딩은 각 위치에서 후보 목록에서 정확한 문자를 예측하는 BERT 기반 보정 네트워크에 입력된다.
• 전체 아키텍처는 엔드 투 엔드로 훈련되어 탐지 및 보정 네트워크가 함께 최적화되어 오류 보정 성능을 향상시킬 수 있다.
• 이 방법은 맥락적 표현을 위해 사전 훈련된 BERT를 활용하고, 혼동 테이블을 통한 데이터 증강을 통해 미세조정한다.

실험 결과

연구 질문

• RQ1 전용 오류 탐지 네트워크가 BERT 기반 철자 오류 보정의 성능을 향상시켜 더 정확한 오류 국소화를 가능하게 할 수 있는가?
• RQ2 소프트 마스킹이 하드 마스킹의 미분 가능한 확장으로서, 표준 BERT 미세조정 대비 더 나은 맥락 모델링과 보정 정확도를 제공하는가?
• RQ3 표준 BERT와 비교할 때, 세계 지식이나 추론이 필요한 복잡한 오류에 대해 모델은 어떻게 성능을 내는가?
• RQ4 제안된 Soft-Masked BERT 아키텍처는 철자 오류 보정을 넘어서 다른 탐지-보정 작업에 일반화될 수 있는가?

주요 결과

• Soft-Masked BERT는 SIGHAN 벤치마크와 새로 생성된 뉴스 헤드라인 데이터셋 양쪽에서 표준 BERT 미세조정보다 유의미하게 높은 정확도를 달성한다.
• 단지 BERT 기반 최신 기술 수준의 방법보다도 성능이 뛰어나, 명시적 오류 탐지와 맥락 기반 보정의 통합이 효과적임을 입증한다.
• 특히 세계 지식이나 추론이 필요한 오류, 예를 들어 '金子塔' (황금 탑)와 '金字塔' (피라미드)를 구분해야 하는 오류에서 BERT만으로는 실패하는 데서도 이 방법은 뛰어난 성능을 보인다.
• 오류 분석 결과, 67%의 오류는 강력한 추론이 필요하고, 11%는 세계 지식 부족에서 기인하며, 22%는 혼합 또는 명확하지 않은 유형으로 구성되어 인간 수준 이해의 과제를 드러낸다.
• 탐지 네트워크는 수정이 불가능한 후보를 성공적으로 식별하고 BERT가 관련 맥락에 집중하도록 이끌어 보정 신뢰도를 향상시킨다.
• 제거 실험 결과, 소프트 마스킹이 하드 마스킹보다 더 효과적이며, 탐지 및 보정 구성 요소의 공동 훈련이 성능 향상에 필수적임을 확인한다.