[논문 리뷰] Comparing Approaches to Dravidian Language Identification

Tommi Jauhiainen, Tharindu Ranasinghe외 1명|arXiv (Cornell University)|2021. 03. 09.

Natural Language Processing Techniques참고 문헌 44인용 수 12

한 줄 요약

이 논문은 칸나다, 말라얄람, 타밀어로 된 로마자 스크립트로 작성된 혼합어 유튜브 댓글을 식별하는 드라비디언 언어 식별(DLI) 공동 과제에서, 적응형 언어 모델을 사용한 나이브 베이즈와 미세조정된 트랜스포머 모델의 두 가지 접근법을 평가한다. 나이브 베이즈 모델은 매크로 F1 점수 0.92로 2위를 기록하며 트랜스포머 기반 모델을 앞서며, 딥러닝이 다른 NLP 분야에서 지배적임에도 불구하고, 저자원, 혼합어 언어 식별 과제에서 전통적 방법이 여전히 경쟁력이 있음을 시사한다.

ABSTRACT

This paper describes the submissions by team HWR to the Dravidian Language Identification (DLI) shared task organized at VarDial 2021 workshop. The DLI training set includes 16,674 YouTube comments written in Roman script containing code-mixed text with English and one of the three South Dravidian languages: Kannada, Malayalam, and Tamil. We submitted results generated using two models, a Naive Bayes classifier with adaptive language models, which has shown to obtain competitive performance in many language and dialect identification tasks, and a transformer-based model which is widely regarded as the state-of-the-art in a number of NLP tasks. Our first submission was sent in the closed submission track using only the training set provided by the shared task organisers, whereas the second submission is considered to be open as it used a pretrained model trained with external data. Our team attained shared second position in the shared task with the submission based on Naive Bayes. Our results reinforce the idea that deep learning methods are not as competitive in language identification related tasks as they are in many other text classification tasks.

연구 동기 및 목표

• 로마자 스크립트로 된 혼합어 드라비디언 언어 식별 과제에서 전통적 모델과 딥러닝 모델의 성능을 평가하기 위해.
• 저자원, 혼합어 언어 식별 과제에서 트랜스포머 기반 모델이 고전적 접근법을 능가하는지 여부를 조사하기 위해.
• 캐릭터 수준의 n-그램과 같은 사전처리 선택 사항(예: 케이스 정규화 및 기호 사용)이 모델 성능에 미치는 영향을 평가하기 위해.
• 어려운 다국어, 혼합어 데이터셋에서 적응형 언어 모델과 사전학습된 트랜스포머의 효과성을 비교하기 위해.
• 딥러닝 모델이 다른 NLP 과제에서는 성공했음에도 불구하고, 특정 언어 식별 시나리오에서 성능이 떨어지는 이유를 이해하는 데 기여하기 위해.

제안 방법

• 캐릭터 수준의 n-그램(소문자 및 원래 케이스 변형 포함)으로 훈련된 적응형 언어 모델을 사용한 나이브 베이즈 분류기 적용.
• 트랜스포머 기반 접근법을 위해 다국어 BERT 및 XLM-R 라지 모델을 DLI 데이터셋에 대해 엔드 투 엔드로 미세조정.
• 다양한 랜덤 시드를 가진 여러 트랜스포머 모델 간의 투표 앙상블 전략을 사용해 예측의 견고성 향상.
• 0.8:0.2 훈련-검증 분할을 사용해 하이퍼파라미터 최적화(학습률 = 1e-5, 에포크 수 = 3).
• 테스트 세트에서 매크로 F1을 사용해 모델 평가하며, 앙상블 모델들 중 최고 확률을 가진 예측을 최종 선택.
• 사전처리 요소(케이스 정규화 및 비알파벳 문자 사용 포함)에 대한 추상화 연구를 수행해 기능 중요도 평가.

실험 결과

연구 질문

• RQ1 적응형 언어 모델을 사용한 나이브 베이즈 분류기가 혼합어 드라비디언 언어 식별에서 트랜스포머 기반 모델을 능가하는가?
• RQ2 케이스 정규화 및 비알파벳 문자 포함 여부와 같은 사전처리 선택 사항이 이 과제에서 성능에 어떤 영향을 미치는가?
• RQ3 사전학습된 트랜스포머 모델이 드라비디언 언어를 포함한 저자원, 혼합어 텍스트(로마자 스크립트)에 얼마나 잘 일반화되는가?
• RQ4 이 언어 식별 시나리오에서 트랜스포머 모델이 더 단순한 모델들보다 성능이 열등한 이유는 무엇인가?
• RQ5 앙상블 전략은 이 도전적인 저자원 언어 식별 과제에서 트랜스포머 모델의 성능을 향상시킬 수 있는가?

주요 결과

• 나이브 베이즈 분류기는 매크로 F1 점수 0.92를 기록하며 DLI 공동 과제에서 공동 2위를 차지했다.
• 트랜스포머 기반 모델은 매크로 F1 점수 0.89를 기록하며 나이브 베이즈 모델보다 3%p 떨어졌다.
• 나이브 베이즈 모델이 트랜스포머 모델을 능가했음에도 불구하고, 후자는 많은 NLP 과제에서 최신 기술로 간주된다.
• 나이브 베이즈 모델에서 원래 케이스와 비알파벳 문자 사용이 향상 잠재력을 보이며, 추상화 결과에서 이를 확인했다.
• 모델 간 성능 격차는 사전학습 과정에서의 노출 부족으로 인해 사전학습된 트랜스포머 모델이 혼합어, 저자원, 로마자 스크립트 드라비디언 텍스트에서 어려움을 겪을 수 있음을 시사한다.
• 딥러닝 방법이 항상 언어 식별 과제에서 슈퍼리어리티를 보이지 않으며, 특히 저자원 또는 매우 혼합된 환경에서는 그렇지 않다는 견해를 지지한다.