[논문 리뷰] The Decades Progress on Code-Switching Research in NLP: A Systematic Survey on Trends and Challenges

Genta Indra Winata, Alham Fikri Aji외 2명|arXiv (Cornell University)|2022. 12. 19.

Text Readability and Simplification인용 수 4

한 줄 요약

1978년에서 2022년까지의 코드 스위칭에 관한 400篇 이상의 NLP 논문을 종합한 이 체계적 서베이는 언어, 작업, 방법, 데이터셋의 추세를 분석한다. 이 연구는 언어학 이론에서 신경망 및 미리 훈련된 모델로의 발전을 추적하며, 다국어 NLP의 핵심 과제를 규명하고, 소셜 미디어 및 음성 응용 분야에서의 코드 스위칭 언어 처리를 위한 향후 연구 방향을 제시한다.

ABSTRACT

Code-Switching, a common phenomenon in written text and conversation, has been studied over decades by the natural language processing (NLP) research community. Initially, code-switching is intensively explored by leveraging linguistic theories and, currently, more machine-learning oriented approaches to develop models. We introduce a comprehensive systematic survey on code-switching research in natural language processing to understand the progress of the past decades and conceptualize the challenges and tasks on the code-switching topic. Finally, we summarize the trends and findings and conclude with a discussion for future direction and open questions for further investigation.

연구 동기 및 목표

• 지난 수십 년에 걸쳐 NLP 분야에서의 코드 스위칭 연구에 대해 체계적이고 대규모로 서베이하는 것.
• 다양한 언어 조합과 작업에서 규칙 기반 및 통계 모델에서 신경망 및 미리 훈련된 모델로의 방법론의 진화를 분석하는 것.
• 데이터 부족, 다국어 일반화, 코드 스위칭 NLP에서의 작업 다양성과 같은 핵심 연구 과제를 규명하는 것.
• 데이터셋, 작업, 학회를 맵핑하여 향후 연구를 안내하고, 미개척된 언어 조합과 응용 분야를 부각시키는 것.
• 언어학 이론이 NLP 접근법에 미친 영향을 검토하고, 소셜 미디어 및 음성 보조 장치가 연구 추세에 미친 영향을 평가하는 것.

제안 방법

• 표준 키워드(예: 'code-switching', 'code-mixing', 'mixed-language')를 사용해 ACL Anthology, ISCA 프로ceedins, 연구자 레포지터리에서 400편 이상의 논문을 수집하고 수작업으로 코드화함.
• 언어(이중어, 삼중어, 4개 이상), 학회(컨퍼런스, 워크숍), 방법(규칙 기반, 신경망, 미리 훈련된 모델) 등의 카테고리로 구성된 체계적 주석 체계 개발.
• 텍스트 및 음성 작업으로 나누어 NLP 작업을 맵핑함. 예: 감성 분석, 명명된 실체 인식, 음성 인식, 텍스트 음성 합성.
• *CL 및 ISCA 학회에서의 데이터를 활용해 시간에 따른 출판 추세를 추적함. 2015년 이후 코드 스위칭 연구에 대한 관심이 크게 증가한 것으로 나타남.
• 언어학 및 사회어학 이론이 NLP 모델 설계에 미친 영향을 분석함. 특히 초기 및 최근 연구에서의 영향을 중점적으로 분석.
• 데이터셋의 출처(소셜 미디어, 음성 녹음, 뉴스 등)에 따라 분류하고, 언어학적 제약에서 종단 간 딥 러닝으로의 방법론적 전환을 평가함.

실험 결과

연구 질문

• RQ1 지난 수십 년에 걸쳐 코드 스위칭 연구의 초점은 언어학 이론에서 기계 학습으로 어떻게 진화해 왔는가?
• RQ2 가장 흔히 연구되는 언어 조합과 NLP 작업는 무엇이며, 다국어 NLP에서의 새로운 추세는 무엇인가?
• RQ3 언어학 이론이 현대 코드 스위칭 NLP 모델 설계에 어느 정도 영향을 미쳤는가?
• RQ4 코드 스위칭 NLP에서의 주요 방법론적 전환은 규칙 기반 시스템에서 미리 훈련된 트랜스포머 모델로의 전환을 어떻게 설명할 수 있는가?
• RQ5 코드 스위칭 NLP에서 가장 시급한 열린 과제는 무엇이며, 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 2015년 이후 소셜 미디어와 음성 활성 장치의 영향으로 코드 스위칭 연구가 크게 증가했으며, *CL 및 ISCA 학회에서의 출판 수가 뚜렷이 증가함.
• 영어 기반 코드 스위칭(예: 영어-힌두어, 영어-타밀어)이 문헌을 지배하고 있으며, 이중어 연구의 40%에서 영어가 제2언어로 포함됨.
• 규칙 기반 및 통계 모델에서 신경망 및 미리 훈련된 모델로의 전환은 명백하며, 최근 논문의 60%가 트랜스포머 기반 아키텍처를 사용함.
• 성장에도 불구하고, 코드 스위칭 데이터셋의 12% 이하만이 두 개 이상의 언어를 포함하고 있으며, 4개 이상의 언어 조합은 여전히 미개척 상태임.
• 음성 관련 작업(예: ASR, TTS)에 대한 관심이 증가하고 있으며, 특히 남아시아 및 아프리카 언어 조합에서 두드러짐. 다만 데이터 부족이 주요 장벽으로 남아 있음.
• 모델 설계에 언어학 이론을 명시적으로 통합한 논문은 20%에 불과하여, 사회어학적 통찰과 NLP 방법론 사이의 격차가 존재함.