[논문 리뷰] SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check

Xingyi Cheng, Weidi Xu외 6명|arXiv (Cornell University)|2020. 04. 26.

Natural Language Processing Techniques참고 문헌 22인용 수 24

한 줄 요약

SpellGCN는 BERT와 같은 사전 훈련된 언어 모델에 중국어 한자 간의 발음 유사성과 시각적 유사성을 통합하는 그래프 컬러션 네트워크를 제안한다. 중국어 철자 검사(CSC)를 위한 것으로, 별도의 발음 유사성 그래프와 형태 유사성 그래프를 구성함으로써, 의미적 및 발음적 제약 조건 하에서 보다 정확한 보정을 달성하기 위해 상호의존적인 문자 표현을 학습한다. 이는 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Chinese Spelling Check (CSC) is a task to detect and correct spelling errors in Chinese natural language. Existing methods have made attempts to incorporate the similarity knowledge between Chinese characters. However, they take the similarity knowledge as either an external input resource or just heuristic rules. This paper proposes to incorporate phonological and visual similarity knowledge into language models for CSC via a specialized graph convolutional network (SpellGCN). The model builds a graph over the characters, and SpellGCN is learned to map this graph into a set of inter-dependent character classifiers. These classifiers are applied to the representations extracted by another network, such as BERT, enabling the whole network to be end-to-end trainable. Experiments (The dataset and all code for this paper are available at https://github.com/ACL2020SpellGCN/SpellGCN) are conducted on three human-annotated datasets. Our method achieves superior performance against previous models by a large margin.

연구 동기 및 목표

• 한자 간의 발음 및 시각적 유사성이 원인이 되는 중국어 철자 오류 문제를 해결하기 위해.
• 문자 유사성에 대한 사전 지식을 표현 공간에 직접 통합하여 중국어 철자 검사(CSC)의 성능을 향상시키기 위해.
• 의미적 맥락과 유사성 제약 조건을 모두 활용하는 엔드 투 엔드로 훈련 가능한 모델을 개발하기 위해.
• 이전 방법들이 유사성 제약 조건을 외부 규칙 또는 혼동 집합으로만 다루며 상호 문자 간의 의존성을 모델링하지 못하는 한계를 극복하기 위해.

제안 방법

• SpellGCN는 중국어 한자 간의 발음 유사성과 시각적(형태) 유사성에 대해 각각 별도의 그래프를 구성한다.
• 그래프 컬러션 네트워크(GCNs)를 적용하여 두 그래프 내에서 유사한 문자 간에 표현을 전파하고 집계한다.
• 학습 가능한 파라미터 β를 사용한 주의 집합 기반 융합 메커니즘을 통해 두 GCN 브랜치의 출력을 융합한다. 이는 발음 신호와 시각적 신호의 균형을 맞추는 데 기여한다.
• 최종 문자 수준의 표현은 분류기 헤드를 통해 BERT의 문맥 임베딩을 개선하는 데 사용되며, 이는 엔드 투 엔드 훈련을 가능하게 한다.
• 모델은 인간이 애너테이션한 CSC 데이터셋에서 엔드 투 엔드로 훈련되며, 그래프 구조는 알려진 문자 유사성 지식에서 유도된다.
• t-SNE 시각화를 통해 SpellGCN가 발음과 형태에 따라 문자를 잘 군집화하고 있음을 확인하였으며, 이는 유사성 인덕티브 바이어스를 성공적으로 통합했음을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델에 발음 및 시각적 유사성을 통합하면 중국어 철자 보정 성능이 향상되는가?
• RQ2 기반 그래프 구조에서 유사한 문자 간의 상호작용은 고립된 유사성 규칙에 비해 보정 정확도에 어떤 영향을 미치는가?
• RQ3 딥 러닝 프레임워크 내에서 발음 및 시각적 유사성 신호를 최적의 방식으로 융합하는 방법은 무엇인가?
• RQ4 모델이 의미적 유사성과 발음/시각적 유사성을 모두 반영하는 유의미한 표현을 학습하는가?
• RQ5 그래프 기반 접근 방식은 BERT를 초월해 다른 유사성 인식 모델링이 필요한 NLP 작업에 일반화될 수 있는가?

주요 결과

• SpellGCN는 세 가지 주요 중국어 철자 검사 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전 모델들에 비해 크게 뛰어나다.
• SIGHAN 2013 데이터셋에서, SpellGCN는 β=3로 주의 집합 기반 융합을 사용하여 문자 수준 F1 스코어 68.2%를 기록하였으며, SpellGCN 없이 사용한 베이스라인(67.0%)에 비해 뚜렷이 뛰어나다.
• 제거 실험 결과, β=3로 설정한 주의 집합 기반 융합이 최고의 성능을 내며, 이는 발음 및 시각적 신호의 균형 잡힌 융합이 매우 중요하다는 것을 시사한다.
• t-SNE 시각화 결과, SpellGCN가 발음과 형태에 따라 문자를 의미 있는 군집으로 분류하고 있음을 확인하였으며, 이는 모델이 유사성 인덕티브 바이어스를 성공적으로 통합했음을 검증한다.
• 사례 연구를 통해 SpellGCN는 의미적 제약 조건과 발음 유사성 제약 조건을 모두 만족시키는 오류를 정확히 수정한다. 예를 들어, '麻坊'을 '麻烦'로 수정하는 등, 발음 유사성을 존중하는 능력을 보여준다.
• 의미적 맥락이 모호한 상황에서도 '录影机'에서 '音'을 '影'으로 정확히 수정함으로써, 시각적 유사성에 기반한 강력한 정확도를 입증하였다.