[논문 리뷰] A Fast, Compact, Accurate Model for Language Identification of Codemixed Text

Yuan Zhang, Jason Riesa외 4명|arXiv (Cornell University)|2018. 10. 09.

Natural Language Processing Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 100개의 언어에서 토큰 단위로 언어를 식별하는 데 빠르고 작고 정확한 모델인 CMX를 제안한다. 피드포워드 네트워크에 전역적으로 제약된 디코더를 적용하여 언어 전환을 예측하고, 코드 믹스 텍스트에서 높은 정확도를 달성한다. 이 모델은 코드 믹스 데이터셋에서 기존 모델 대비 19.5%p의 정확도 향상을 기록하고, 이는 기존 모델 대비 800배 빠른 속도를 확보한다. 또한 선택적 그룹화 드롭아웃과 합성 훈련 데이터를 통해 비공식적인 텍스트(오타, 이국어 표기, 약어 등)에 대한 강건성을 확보한다.

ABSTRACT

We address fine-grained multilingual language identification: providing a language code for every token in a sentence, including codemixed text containing multiple languages. Such text is prevalent online, in documents, social media, and message boards. We show that a feed-forward network with a simple globally constrained decoder can accurately and rapidly label both codemixed and monolingual text in 100 languages and 100 language pairs. This model outperforms previously published multilingual approaches in terms of both accuracy and speed, yielding an 800x speed-up and a 19.5% averaged absolute gain on three codemixed datasets. It furthermore outperforms several benchmark systems on monolingual language identification.

연구 동기 및 목표

• 소셜 미디어 및 사용자 생성 콘텐츠에서 흔한 코드 믹스 텍스트에서 토큰 수준의 세밀한 언어 식별 문제를 해결하기 위해.
• 100개의 언어와 100개의 언어 조합(단일 언어 및 코드 믹스 포함)에서 높은 정확도와 빠른 속도를 유지하는 모델을 개발하기 위해.
• 토큰 수준의 레이블링 데이터 부족 문제를 해결하기 위해 언어학적 패턴 기반으로 합성된 코드 믹스 예제를 생성하기 위해.
• 새로운 기능 드롭아웃 전략을 통해 오타, 이국어 표기, 약어 등 비공식적인 텍스트에 대한 강건성을 향상시키기 위해.
• 전체 문장 수준에서 언어 전환을 제약하고 双어 제약 조건을 강제 적용함으로써 레이블 일관성을 향상시키는 전역적으로 제약된 디코딩 메커니즘을 설계하기 위해.

제안 방법

• 문자 n-그램, 스크립트, 어휘 특징을 포함한 피드포워드 신경망을 사용하여 각 토큰의 언어 분포를 독립적으로 예측한다.
• 전역적으로 제약된 디코더는 언어 전환에 대한 페널티를 적용하고 전체 문장 수준에서 双어 제약 조건을 강제 적용하여 레이블 일관성을 향상시킨다.
• 선택적이고 그룹화된 드롭아웃을 적용하여 문자 수준과 단어 수준의 특징 간 균형을 유지하고, 비공식적인 텍스트에서 단어 수준 특징이 n-그램 특징을 지배하지 않도록 방지한다.
• 실제 세계의 코드 믹스 패턴을 기반으로 100개 언어의 단일 언어 문장을 혼합하여 200만 개의 예제를 생성함으로써 합성 코드 믹스 훈련 데이터를 생성한다.
• 실제 세계의 코드 믹스 코퍼스 25,000개 문장(33만 6천 토큰)을 구성하여 평가를 위해 애너테이션을 수행하였으며, 영어-스페인어, 영어-힌디어, 영어-인донี시아어 조합을 포함한다.
• 모델는 엔드 투 엔드로 훈련되며, 세 개의 코드 믹스 데이터셋(GY-Mix, Twitter-Mix, Web-Mix6)과 단일 언어 코퍼스(KB-Mono56)에서 평가된다.

실험 결과

연구 질문

• RQ1 단일 모델이 100개 언어와 100개 언어 조합(코드 믹스 및 단일 언어 포함)에서 높은 정확도와 빠른 속도를 동시에 확보할 수 있는가?
• RQ2 기본 디코딩 전략 대비 전역적으로 제약된 디코더가 언어 전환 과다 예측을 얼마나 효과적으로 줄이는가?
• RQ3 선택적 그룹화 드롭아웃 전략이 오타 및 이국어 표기와 같은 비공식 텍스트에 대해 얼마나 강건성을 향상시키는가?
• RQ4 합성 훈련 데이터가 실제 애너테이션 데이터에 포함되지 않은 언어 조합에 대한 일반화에 얼마나 기여하는가?
• RQ5 모델의 컴팩트한 변형이 메모리 사용을 크게 줄이면서도 경쟁 가능한 성능을 유지할 수 있는가?

주요 결과

• CMX는 기존 최고 성능 모델 대비 세 코드 믹스 데이터셋에서 19.5%p의 정확도 향상을 기록하였으며, 특히 짧고 모호한 입력에서 가장 큰 성과를 보였다.
• 단일 언어 텍스트에서 CMX는 벤치마크 대비 1.1%p의 정확도 향상(오차 24% 감소)을 기록하여 강력한 일반화 능력을 입증했다.
• 기존 토큰 수준 언어 식별 시스템 대비 800배 빠른 속도를 확보하였으며, 디코딩 속도는 1초당 206,000자이다.
• 전역적으로 제약된 디코더는 문장당 예측 언어 수를 평균 1.5에서 1.27로 감소시켰고, 이는 과다 예측 문제를 해결하는 데 기여했으며, 런타임은 7%만 증가했다.
• 50% 특징 드롭아웃 설정에서 오타가 난 토큰에서 95.3%의 정확도를 기록했고, 드롭아웃 없이 72.1%에 그친 것을 고려하면, 비공식 텍스트에 대한 강건성이 뛰어나다는 것을 입증했다.
• CMX의 컴팩트한 변형은 파라미터 수를 3000만에서 90만으로 줄였지만 경쟁 가능한 성능을 유지하여 자원 제약 환경에서도 배포 가능성을 확보했다.