[논문 리뷰] A Survey of Code-switched Speech and Language Processing

Sunayana Sitaram, Khyathi Raghavi Chandu외 2명|arXiv (Cornell University)|2019. 03. 25.

Natural Language Processing Techniques참고 문헌 212인용 수 53

한 줄 요약

코드-스위칭에 대한 음성(Speech) 및 NLP의 포괄적 연구조사로, 데이터셋, 벤치마크, 과제, 모델, 그리고 코드-스위치 언어 처리에서의 열린 도전과제를 나열한다.

ABSTRACT

Code-switching, the alternation of languages within a conversation or utterance, is a common communicative phenomenon that occurs in multilingual communities across the world. This survey reviews computational approaches for code-switched Speech and Natural Language Processing. We motivate why processing code-switched text and speech is essential for building intelligent agents and systems that interact with users in multilingual communities. As code-switching data and resources are scarce, we list what is available in various code-switched language pairs with the language processing tasks they can be used for. We review code-switching research in various Speech and NLP applications, including language processing tools and end-to-end systems. We conclude with future directions and open problems in the field.

연구 동기 및 목표

• 다국어 사용자 상호작용을 위한 코드-스위칭 텍스트와 음성 처리의 중요성을 동기부여한다.
• 음성 및 텍스트 과제 전반에서 코드-스위칭 언어쌍의 데이터셋과 자원에 대한 포괄적 카탈로그를 제공한다.
• NLP 및 ASR에서 코드-스위칭에 대한 공유 작업, 벤치마크, 평가 방법을 검토한다.
• 모델링 접근법과 응용을 요약하고, 남아있는 문제점과 향후 방향을 개요한다.

제안 방법

• 코드-스위칭의 언어학 이론을 요약하고 이를 NLP/ASR의 계산적 고려사항으로 변환한다.
• 코드-스위칭 음성(ASR/TTS) 및 텍스트(LID, NER, POS, parsing, QA, NLI, 소셜 미디어 데이터)에 대한 이용 가능한 말뭉치와 자원을 목록화한다.
• 데이터가 희소할 때 코드-스위칭 시스템에 대한 모델링 전략을 설명한다. 전이 학습, 도메인 적응, 합성 데이터 생성을 포함한다.
• 언어 경계, 매트릭스 언어 개념, 다언어 제약 등을 핵심 고려사항으로 포함하여 코드-스위칭 시스템의 평가 벤치마크와 방법론을 논의한다.
• 다국어 모델(예: 다국어 BERT)과 임베딩이 코드-스위칭 NLP에서 차지하는 역할을 강조한다.

실험 결과

연구 질문

• RQ1 다른 언어쌍에 걸친 코드-스위칭 음성 및 텍스트에 어떤 데이터셋과 자원이 존재하는가?
• RQ2 데이터 부족을 고려할 때 효과적인 코드-스위칭 ASR 및 NLP을 가능하게 하는 모델링 및 평가 접근법은 무엇인가?
• RQ3 공유 작업과 벤치마크가 코드-스위칭 언어 처리의 발전에 어떤 영향을 미쳤는가?
• RQ4 음성 및 NLP에서 코드-스위칭 처리에 남아 있는 열린 문제점과 향후 방향은 무엇인가?

주요 결과

• 음성의 코드-스위칭 데이터셋이 다수 존재합니다(예: SEAME, HKUST Mandarin-English, CEMOS, CUMIX, MCSM, FACST) 및 텍스트(LID, NER, POS, parsing, QA, NLI, 소셜 미디어).
• 희소한 코드-스위칭 자원을 다루기 위해 전이 학습, 도메인 적응, 합성 데이터에 의존하는 경향이 있습니다.
• 공유 작업과 벤치마크가 LID, NER, POS, parsing, QA, NLI에서 코드-스위칭 데이터의 발전을 이끌었습니다.
• 매트릭스 언어 개념, 언어 경계 탐지, 다언어 제약을 핵심 고려사항으로 삼아 코드-스위칭 시스템 평가가 이루어집니다.
• 다국어 모델과 교차언어 임베딩이 NLP의 코드-스위칭 처리에 활용됩니다.
• 코드-스위칭을 포함한 ASR 접근은 단일 패스 소프트 LID 결정, 이중언어 음향 모델, 합성 또는 준지도 데이터로의 데이터 증강을 포함합니다.