[논문 리뷰] Language Modeling for Code-Switched Data: Challenges and Approaches

Ganji Sreeram, Rohit Sinha|arXiv (Cornell University)|2017. 11. 09.

Natural Language Processing Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 품사 태그와 새로운 코드 스위칭 요인(CS-요인)을 통합하여 힌두어-영어 혼용어(Hinglish) 텍스트를 위한 인과적 순환 신경망 언어 모델(RNN-LM)을 제안한다. 이는 퍼플렉서티를 향상시키기 위한 것이다. CS-요인은 품사와는 별개로 코드 스위칭 패턴을 포착하여 Hinglish 테스트 데이터에서 22.97의 퍼플렉서티를 달성했으며, 기준 모델보다 뚜렷이 뛰어나고, 품사 특징만을 사용한 경우보다도 추가적인 성능 향상을 보였다.

ABSTRACT

Lately, the problem of code-switching has gained a lot of attention and has emerged as an active area of research. In bilingual communities, the speakers commonly embed the words and phrases of a non-native language into the syntax of a native language in their day-to-day communications. The code-switching is a global phenomenon among multilingual communities, still very limited acoustic and linguistic resources are available as yet. For developing effective speech based applications, the ability of the existing language technologies to deal with the code-switched data can not be over emphasized. The code-switching is broadly classified into two modes: inter-sentential and intra-sentential code-switching. In this work, we have studied the intra-sentential problem in the context of code-switching language modeling task. The salient contributions of this paper includes: (i) the creation of Hindi-English code-switching text corpus by crawling a few blogging sites educating about the usage of the Internet (ii) the exploration of the parts-of-speech features towards more effective modeling of Hindi-English code-switched data by the monolingual language model (LM) trained on native (Hindi) language data, and (iii) the proposal of a novel textual factor referred to as the code-switch factor (CS-factor), which allows the LM to predict the code-switching instances. In the context of recognition of the code-switching data, the substantial reduction in the PPL is achieved with the use of POS factors and also the proposed CS-factor provides independent as well as additive gain in the PPL.

연구 동기 및 목표

• 외래어가 문맥적 지원을 받지 못하는 저자원 코드 스위칭 언어 모델링 문제, 특히 힌두어-영어(Hinglish) 텍스트에서의 도전 과제를 해결하기 위해.
• 혼용어 데이터에서 단일 언어 힌두어 RNN-LM 성능 향상에 있어 품사(POS) 특징의 효과를 탐구하기 위해.
• 단어의 문맥과는 별개로 코드 스위칭 패턴을 모델링할 수 있는 새로운 텍스트 특징인 코드 스위칭 요인(CS-요인)을 제안하고 평가하기 위해.
• 품사와 CS-요인을 조합했을 때 기준 모델 및 인과 모델보다 퍼플렉서티 감소에 있어 누적적인 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• Hinglish 언어 모델링을 위한 학습 데이터셋을 확보하기 위해 교육 블로깅 사이트를 크롤링하여 힌두어-영어 혼용어 텍스트 코퍼스를 수집하였다.
• 순수 힌두어 및 혼합 Hinglish 데이터에서 단일 언어 힌두어 RNN-LM을 학습하였으며, 코드 스위칭 기간 동안 문법적 문맥을 유지하기 위해 품사 태그를 요소로 사용하였다.
• 언어학적 및 구조적 신호를 바탕으로 힌두어와 영어 단어 간 전환 가능성의 가능도를 모델링하기 위해 새로운 코드 스위칭 요인(CS-요인)을 도입하였다.
• RNN-LM을 품사와 CS-요인을 모두 사용하는 인과 모델로 확장하여 단어 시퀀스와 코드 스위칭 사건을 동시에 예측할 수 있도록 하였다.
• 정확도를 확보하기 위해 3중 교차 검증을 실시하였고, Hinglish 및 순수 힌두어 테스트 세트에서 퍼플렉서티(PPL)를 평가 지표로 사용하였다.
• 제안된 특징의 효과를 검증하기 위해, 5-그램 LM, 표준 RNN-LM, 클래스 기반 RNN-LM과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 품사(POS) 특징은 단일 언어 힌두어 RNN-LM이 힌두어-영어 혼용어 텍스트에서 성능 향상에 기여하는가?
• RQ2 제안된 코드 스위칭 요인(CS-요인)은 코드 스위칭 언어 패턴을 모델링하는 데 있어 독립적이고 측정 가능한 성능 향상을 제공하는가?
• RQ3 품사와 CS-요인의 조합 효과는 혼용어 데이터에서 퍼플렉서티 감소에 있어 개별 특징보다 어떻게 뛰어나게 되는가?
• RQ4 CS-요인의 포함 여부가 저자원 혼용어 데이터에서 기존 언어 모델링 접근 방식보다 얼마나 뛰어나게 되는가?

주요 결과

• 품사 요인만을 사용한 인과 RNN-LM은 Hinglish 테스트 데이터의 퍼플렉서티(PPL)를 표준 RNN-LM의 89.67에서 39.03으로 낮추어 뚜렷한 향상을 보였다.
• 제안된 CS-요인은 품사 특징 없이도 Hinglish 데이터에서 PPL을 36.52로 낮추어, 단독으로도 효과적임을 입증하였다.
• 품사와 CS-요인의 조합은 Hinglish 테스트 데이터에서 최저 PPL 22.97을 달성하여, 두 특징이 동시에 기여함으로써 누적적인 성능 향상이 이루어짐을 보여주었다.
• 두 특징을 모두 포함한 인과 RNN-LM은 Hinglish 테스트 세트에서 PPL 38.89를 기록하여, 5-그램 LM(92.11)과 표준 RNN-LM(89.67)을 모두 앞섰다.
• 품사 태그가 부여된 Hinglish-기반 데이터로 학습한 모델은 순수 힌두어 데이터보다 Hinglish 데이터에서 더 우수한 일반화 성능를 보였으며, 이는 외부어어(Out-of-Vocabulary, OOV) 영어 단어를 더 잘 처리했기 때문이다.
• CS-요인은 추정이 단순하면서도 매우 효과적이었으며, 특히 외래어가 최소한의 문법적 정보를 지닌 저맥락 코드 스위칭 상황에서 뛰어난 성능을 보였다.