[논문 리뷰] GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph

Yunxin Li, Yu Zhao외 6명|arXiv (Cornell University)|2021. 07. 01.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

GlyphCRM은 전통적인 문자 임베딩 대신 문자의 도형적 표현을 사용하는 새로운 중국어 사전 훈련 언어 모델이다. 이 모델은 잔차 컨볼루션 신경망(HanGlyph)을 활용해 문자 이미지의 공간적 특징을 추출하고, 스킵 연결을 통해 이중성 트랜스포머에 통합한다. GlyphCRM은 9개의 하류 NLU 작업에서 최신 기술 수준의 성능을 기록하며, 평균적으로 BERT보다 최대 1% 높은 성능을 보이며, 저자원 및 전문화된 도메인(예: 의료 텍스트)에서도 강력한 일반화 능력을 보인다.

ABSTRACT

Previous works indicate that the glyph of Chinese characters contains rich semantic information and has the potential to enhance the representation of Chinese characters. The typical method to utilize the glyph features is by incorporating them into the character embedding space. Inspired by previous methods, we innovatively propose a Chinese pre-trained representation model named as GlyphCRM, which abandons the ID-based character embedding method yet solely based on sequential character images. We render each character into a binary grayscale image and design two-channel position feature maps for it. Formally, we first design a two-layer residual convolutional neural network, namely HanGlyph to generate the initial glyph representation of Chinese characters, and subsequently adopt multiple bidirectional encoder Transformer blocks as the superstructure to capture the context-sensitive information. Meanwhile, we feed the glyph features extracted from each layer of the HanGlyph module into the underlying Transformer blocks by skip-connection method to fully exploit the glyph features of Chinese characters. As the HanGlyph module can obtain a sufficient glyph representation of any Chinese character, the long-standing out-of-vocabulary problem could be effectively solved. Extensive experimental results indicate that GlyphCRM substantially outperforms the previous BERT-based state-of-the-art model on 9 fine-tuning tasks, and it has strong transferability and generalization on specialized fields and low-resource tasks. We hope this work could spark further research beyond the realms of well-established representation of Chinese texts.

연구 동기 및 목표

• 기존 중국어 NLP 모델이 정적이고 ID 기반의 문자 임베딩에 의존하여 문자 도형에 담긴 풍부한 의미 정보를 忽略하는 한계를 해결하기 위해.
• 문자 ID 없이 도형 표현만으로도 중국어 텍스트에 대해 효과적이고 문맥 인식 가능한 표현이 될 수 있는지 탐색하기 위해.
• 도형적 구조와 문맥적 의존성을 동시에 활용해 이식성과 일반화 능력을 향상시키는 사전 훈련 모델을 개발하기 위해, 특히 저자원 및 전문화된 도메인에서의 성능 향상을 목표로 한다.
• 임베딩 기반 모델에서 흔히 발생하는 OOV 문제를 해결하기 위해 어휘 목록 검색 대신 시각적 도형 특징에 의존함으로써 문제를 해결하기 위해.

제안 방법

• 각 중국어 문자는 이진 회색조 이미지로 렌더링되어 두 단계의 잔차 컨볼루션 신경망(HanGlyph)을 거쳐 계층적인 도형 표현을 추출한다.
• 공간적 구조와 문자 도형 내 상대적 위치를 인코딩하기 위해 이중 채널 위치 맵이 도입된다.
• 각 HanGlyph 블록에서 추출한 도형 특징은 스킵 연결을 통해 기반 트랜스포머 블록으로 전달되어 다중 척도의 시각적 특징을 유지하고 활용한다.
• 장거리 문맥적 의존성을 캡처하기 위해 이중성 트랜스포머 인코더를 슈퍼구조로 사용한다.
• 사전 훈련은 BERT와 동일한 목표인 마스크 언어 모델링과 다음 문장 예측을 사용하지만, 입력은 오직 이미지 기반으로만 수행된다.
• 세부 조정은 문자 ID 검색을 필요로 하지 않고 이미지 표현 그대로를 사용하여 하류 작업에 대한 엔드 투 엔드 적응이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 문자 ID 없이 오직 도형 이미지에 의존하는 중국어 사전 훈련 언어 모델이 ID 기반 모델보다 뛰어난 성능을 내는가?
• RQ2 도형 기반 표현이 저자원 및 전문화된 NLP 작업에서 일반화 및 이식성 향상에 얼마나 기여하는가?
• RQ3 도형만으로 구성된 표현이 임베딩 기반 모델에서 흔히 발생하는 OOV 문제를 효과적으로 해결할 수 있는가?
• RQ4 다중 수준의 도형 특징에서 온 스킵 연결이 트랜스포머 인코더 내 문맥 표현을 어떻게 향상시키는가?

주요 결과

• GlyphCRM은 9개의 하류 중국어 NLU 작업에서 BERT 기반 최신 기술 수준 모델을 초월하며, 정확도 평균적으로 최대 1% 향상되었다.
• 의료 의미 매칭 데이터셋(CMSSM)에서 GlyphCRM은 테스트 정확도 90.84%를 기록하여 BERT의 89.79%를 뛰어넘었다.
• 저자원 전자상거래 감성 분석 데이터셋에서 GlyphCRM은 테스트 정확도 76.07%를 기록하여 BERT의 73.61%보다 2.44%포인트 높았다.
• 의료 텍스트와 같은 전문화된 도메인에서도 모델은 BERT보다 더 우수한 이식성과 일반화 능력을 보였다. 특히 희귀어 및 도메인 전용 용어가 많아도 성능 저하가 적었다.
• 성능 향상의 원인은 중국어 문자 도형이 단어 의미와 연결된 의미 있는 시각적 패턴을 내재하고 있기 때문이다.
• 문자 임베딩 테이블이 없기 때문에 모든 문자가 빈도나 이전 발생 여부에 관계없이 그 시각적 형태로 표현되기 때문에 OOV 문제를 완전히 제거할 수 있었다.