[논문 리뷰] Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?

Xiang Zhang, Yann LeCun|arXiv (Cornell University)|2017. 08. 08.

Handwritten Text Recognition Techniques참고 문헌 4인용 수 39

한 줄 요약

이 논문은 중국어, 영어, 일본어, 한국어에서 다양한 인코딩 방법—UTF-8 바이트, 문자, 단어, 로마자 표기, 임베딩—을 사용해 473개의 텍스트 분류 모델을 종합적으로 비교하는 실증 연구를 수행한다. 주요 발견은 순환 신경망에서 바이트 수준의 원핫 인코딩이 일관되게 뛰어난 성능을 보이며, fastText는 문자 n-그램을 사용할 경우 최고의 성능을 내지만, 기능의 풍부함이 증가할수록 과적합 경향이 있음을 확인했다.

ABSTRACT

This article offers an empirical study on the different ways of encoding Chinese, Japanese, Korean (CJK) and English languages for text classification. Different encoding levels are studied, including UTF-8 bytes, characters, words, romanized characters and romanized words. For all encoding levels, whenever applicable, we provide comparisons with linear models, fastText and convolutional networks. For convolutional networks, we compare between encoding mechanisms using character glyph images, one-hot (or one-of-n) encoding, and embedding. In total there are 473 models, using 14 large-scale text classification datasets in 4 languages including Chinese, English, Japanese and Korean. Some conclusions from these results include that byte-level one-hot encoding based on UTF-8 consistently produces competitive results for convolutional networks, that word-level n-grams linear models are competitive even without perfect word segmentation, and that fastText provides the best result using character-level n-gram encoding but can overfit when the features are overly rich.

연구 동기 및 목표

• 중국어, 영어, 일본어, 한국어에서 다양한 텍스트 인코딩 전략—UTF-8 바이트에서 로마자 표기까지—의 효과를 평가하기 위해.
• 선형 모델, fastText, 순환 신경망 등 다양한 모델이 다양한 인코딩 체계에서 어떻게 성능을 내는지 평가하기 위해.
• 저수준 인코딩인 바이트 또는 글리프가 다국어 환경에서 전통적인 단어 수준 또는 문자 수준 표현보다 뛰어난 성능을 낼 수 있는지 판단하기 위해.
• 미래의 통합 다국어 텍스트 표현 연구를 안내하기 위해 14개의 대규모 데이터셋을 기반으로 체계적인 벤치마크를 제공하기 위해.

제안 방법

• 연구는 중국어, 영어, 일본어, 한국어에서 감성 분석 및 주제 분류를 포함하는 14개의 다양한 텍스트 분류 데이터셋—수백만 건의 샘플—을 포함하는 대규모 벤치마크를 활용한다.
• 다양한 인코딩 수준을 평가한다: UTF-8 바이트, 문자, 단어(분할 여부 포함), 로마자 표기된 문자, 로마자 표기된 단어.
• 각 인코딩에 대해 다항 로지스틱 회귀, fastText, 그리고 두 가지 CNN 아키텍처(대규모 및 소규모)를 사용하며, 세 가지 인코더 유형—원핫 인코딩, 문자 글리프 이미지, 학습된 임베딩—을 포함한다.
• CNN은 ReLU 활성화 함수와 최대 풀링을 사용하며, 입력 인코더 레이어를 제외한 모든 부분은 공통 아키텍처를 사용하여 인코딩 방식 간 공정한 비교를 가능하게 한다.
• fastText에 대해 초모수 튜닝을 수행하고, 검증 정확도 기반 조기 정지 기법을 사용해 훈련을 검증한다.
• 모든 코드와 데이터셋은 재현성 및 커뮤니티 사용을 지원하기 위해 오픈소스 라이선스 하에 공개된다.

실험 결과

연구 질문

• RQ1 UTF-8 바이트, 문자, 단어, 로마자 형태, 임베딩 중 어느 수준의 텍스트 인코딩이 중국어, 일본어, 한국어, 영어에서 텍스트 분류에 가장 뛰어난 성능을 내는가?
• RQ2 선형 모델, fastText, 순환 신경망이 다국어 텍스트 분류에서 다양한 인코딩 수준에서 어떻게 성능을 내는가?
• RQ3 CNN에서 바이트 수준의 원핫 인코딩이 다국어 텍스트 처리에서 문자 수준 또는 단어 수준 인코딩보다 뛰어나게 성능을 내는가?
• RQ4 fastText는 CJK 언어에서 문자 n-그램과 같은 풍부한 기능 표현을 사용할 경우 과적합 경향이 얼마나 심한가?
• RQ5 문자 글리프나 UTF-8 바이트와 같은 저수준 인코딩이 딥러닝 모델에 대해 통합적이고 언어에 관계없는 텍스트 표현을 가능하게 할 수 있는가?

주요 결과

• 바이트 수준의 원핫 인코딩은 모든 언어와 모델 유형에서 일관되게 경쟁력 있는 성능을 보이며, 특히 순환 신경망에서 매우 효과적임을 시사한다.
• fastText는 중국어, 일본어, 한국어에서는 문자 수준의 n-그램을 사용할 경우 최고의 전체 성능를 기록하지만, 영어에서는 단어 수준의 n-그램을 사용할 경우 가장 뛰어난 성능를 보인다.
• 완벽한 분할 없이도 CJK 언어의 단어 수준 인코딩이 여전히 경쟁력 있는 성능를 보이며, 이는 단어 경계가 이전에 예상한 것만큼 중요하지 않다는 것을 시사한다.
• fastText는 모델 용량이 CNN보다 낮음에도 불구하고, 기능의 풍부함이 증가할수록 순환 신경망보다 과적합 경향이 더 심하다.
• n-그램 및 TF-IDF 변형을 사용하는 문자의 백포지션 또는 단어의 백포지션 특징을 가진 선형 모델은 여전히 매우 경쟁력 있는 성능를 보이며, 이는 그들의 지속적인 강점을 보여준다.
• CNN에 문자 글리프 이미지를 입력으로 사용하는 것은 가능하지만, 원핫 인코딩보다 성능이 열등하고 단순성 면에서도 劣화된다.