[논문 리뷰] Mask the Correct Tokens: An Embarrassingly Simple Approach for Error Correction

Kai Shen, Yichong Leng외 5명|arXiv (Cornell University)|2022. 11. 23.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 훈련 중에 올바른 토큰을 무작위로 마스킹함으로써 텍스트 오류 보정 성능을 향상시키는 간단하면서도 효과적인 방법인 MaskCorrect를 제안한다. 이는 모델이 단순히 복사하는 데 의존하는 대신 맥락에 기반해 학습하도록 유도한다. 이 방법은 자동회귀형 및 비자동회귀형 모델 모두에서 철자 오류, 음성 인식 오류(ASR), 문법 오류 보정 작업에서 성능을 향상시키며, 중국어 ASR 데이터셋에서 일관된 WER 감소(최대 1.24% 감소)를 기록하고 최신 기술(SOTA) 방법을 뛰어넘는 성과를 보였다.

ABSTRACT

Text error correction aims to correct the errors in text sequences such as those typed by humans or generated by speech recognition models. Previous error correction methods usually take the source (incorrect) sentence as encoder input and generate the target (correct) sentence through the decoder. Since the error rate of the incorrect sentence is usually low (e.g., 10\%), the correction model can only learn to correct on limited error tokens but trivially copy on most tokens (correct tokens), which harms the effective training of error correction. In this paper, we argue that the correct tokens should be better utilized to facilitate effective training and then propose a simple yet effective masking strategy to achieve this goal. Specifically, we randomly mask out a part of the correct tokens in the source sentence and let the model learn to not only correct the original error tokens but also predict the masked tokens based on their context information. Our method enjoys several advantages: 1) it alleviates trivial copy; 2) it leverages effective training signals from correct tokens; 3) it is a plug-and-play module and can be applied to different models and tasks. Experiments on spelling error correction and speech recognition error correction on Mandarin datasets and grammar error correction on English datasets with both autoregressive and non-autoregressive generation models show that our method improves the correction accuracy consistently.

연구 동기 및 목표

• 오류 보정 모델에서 올바른 토큰을 단순히 복사하는 문제를 해결함으로써 효과적인 학습을 저해하고 훈련 효율을 떨어뜨리는 문제를 해결한다.
• 올바른 토큰을 수동적인 복사 대상이 아닌 의미 있는 훈련 신호로 활용한다.
• 철자 오류 및 ASR 오류 보정과 같은 저오류율 보정 작업에서 모델의 일반화 능력과 성능을 향상시킨다.
• 자동회귀형 및 비자동회귀형 모델 모두에 적용 가능한 일반화 가능하고 플러그-앤플레이 프레임워크를 개발한다.

제안 방법

• 훈련 중에 입력 문장의 무작위 비율만큼 올바른 토큰이 특수 <mask> 토큰으로 대체된다.
• 모델은 마스킹된 맥락에서 원래의 올바른 토큰을 재구성하도록 훈련되어 맥락 인식 생성을 장려한다.
• 이 방법은 아키텍처 변경 없이 기존 보정 모델에 플러그인 모듈로 적용된다.
• 마스킹 비율은 하이퍼파라미터로 조정되며, 비자동회귀형 모델의 최적 값은 0.15로 확인되었다.
• 마스킹을 통한 사전 훈련 후, 모델은 추론을 위해 원본의 무마스킹된 데이터로 미세조정된다.
• 이 방법은 자동회귀형 및 비자동회귀형 모델을 대상으로 철자 오류 보정, ASR 오류 보정(중국어), 문법 오류 보정(영어) 작업에서 평가되었다.

실험 결과

연구 질문

• RQ1 훈련 중에 올바른 토큰을 마스킹함으로써 단순한 복사에 의존하는 것을 줄여 오류 보정 성능을 향상시킬 수 있는가?
• RQ2 마스킹 비율이 자동회귀형 및 비자동회귀형 모델의 성능과 일반화 능력에 미치는 영향은 어떠한가?
• RQ3 이 방법은 철자, ASR, 문법 오류 보정과 같은 다양한 오류 보정 작업에 효과적으로 적용될 수 있는가?
• RQ4 올바른 토큰을 정보성 신호로 더 잘 활용함으로써 훈련 효율성이 향상되는가?

주요 결과

• FastCorrect 모델에 적용했을 때, AISHELL-1 데이터셋에서 WER이 1.24% 감소하고, 내부 중국어 ASR 데이터셋에서는 1.0% 감소하였다.
• MaskCorrect를 적용한 AR Transformer 모델은 AISHELL-1에서 WER이 1.03% 감소하고, 내부 데이터셋에서는 0.78% 감소하였다.
• FastCorrect 모델의 최적 마스킹 비율은 0.15이며, 이 비율이 0.2를 초과하면 성능이 저하되었다.
• 이 방법은 철자 오류 및 ASR 오류 보정 작업에서 자동회귀형 및 비자동회귀형 모델 모두에서 보정 정확도를 일관되게 향상시켰다.
• MaskCorrect는 중국어 데이터셋에서 최신 기술(SOTA) 철자 오류 보정 방법을 크게 앞서는 성능을 기록하였다.
• 제거 분석 결과, 올바른 토큰을 마스킹함으로써 의미 있는 지도 신호를 제공함으로써 단순한 복사 학습을 넘어서 모델의 일반화 능력이 향상됨을 확인하였다.