[논문 리뷰] A Comprehensive Understanding of Code-mixed Language Semantics using Hierarchical Transformer

Ayan Sengupta, Tharun Suresh외 2명|arXiv (Cornell University)|2022. 04. 27.

Text Readability and Simplification인용 수 5

한 줄 요약

이 논문은 6개의 인도어 언어와 스페인어를 포함한 복합어 섞인 텍스트의 강건하고 계층적인 표현을 학습하기 위해 다중머리 자기주의 주의와 외적곱 주의를 조합한 다중 수준 주의 모델인 HIT(Hierarchical Transformer)을 제안한다. HIT는 9개의 NLP 작업에서 최신 기술을 초월하며, 제로샷 학습과 마스크된 언어 모델링에서 뚜렷한 성능 향상을 보이며, 자원이 부족하고 형태가 풍부한 복합어 섞인 환경에서 강력한 일반화 능력과 의미론적 강건성을 입증한다.

ABSTRACT

Being a popular mode of text-based communication in multilingual communities, code-mixing in online social media has became an important subject to study. Learning the semantics and morphology of code-mixed language remains a key challenge, due to scarcity of data and unavailability of robust and language-invariant representation learning technique. Any morphologically-rich language can benefit from character, subword, and word-level embeddings, aiding in learning meaningful correlations. In this paper, we explore a hierarchical transformer-based architecture (HIT) to learn the semantics of code-mixed languages. HIT consists of multi-headed self-attention and outer product attention components to simultaneously comprehend the semantic and syntactic structures of code-mixed texts. We evaluate the proposed method across 6 Indian languages (Bengali, Gujarati, Hindi, Tamil, Telugu and Malayalam) and Spanish for 9 NLP tasks on 17 datasets. The HIT model outperforms state-of-the-art code-mixed representation learning and multilingual language models in all tasks. We further demonstrate the generalizability of the HIT architecture using masked language modeling-based pre-training, zero-shot learning, and transfer learning approaches. Our empirical results show that the pre-training objectives significantly improve the performance on downstream tasks.

연구 동기 및 목표

• 자원이 부족하고 형태가 풍부한 언어에서 복합어 섞인 텍스트를 위한 강건하고 언어에 구애받지 않는 표현을 학습하는 데 도전한다.
• 복합어 섞인 텍스트에서 의미, 문법, 서브워드 수준의 구조를 동시에 포괄하는 통합 아키텍처를 개발한다.
• 분류, 시퀀스 레이블링, 생성 등 다양한 NLP 작업을 통해 모델의 일반화 능력을 평가한다.
• 명시적 감독 없이 표현 학습을 향상시키기 위해 마스크된 언어 모델링과 제로샷 학습의 효과성을 조사한다.
• 다국어 및 자원이 부족한 환경에서 복합어 섞인 언어 이해를 위한 재사용 가능하고 재현 가능한 프레임워크를 제공한다.

제안 방법

• HIT는 복합어 섞인 텍스트의 내부 및 상호 시퀀스 간 의존성을 모델링하기 위해 다중머리 자기주의 주의와 외적곱 주의를 통합한 계층적 주의 메커니즘을 사용한다.
• 모델은 문자 수준, 서브워드 수준, 단어 수준의 표현을 융합하여 형태가 풍부한 언어에 대한 강력한 문맥 임베딩을 구축한다.
• 새로운 융합 주의 메커니즘(Fused Attention Mechanism, FAME)은 주의 헤드를 융합하여 복합어 섞인 시퀀스에서 의미적 및 문법적 구조를 동시에 포착한다.
• 모델는 마스크된 언어 모델링(MLM)을 사용해 사전학습함으로써, 조잡하고 비공식적인 복합어 섞인 텍스트에서도 문맥 표현 학습 능력을 향상시킨다.
• 감성, 풍자, 유머 분류 작업을 함께 학습함으로써 제로샷 학습을 가능하게 하여, 다양한 작업 간 공유되는 의미 공간을 학습할 수 있도록 한다.
• 의도 탐지, 슬롯 채우기, 대화 설정에서의 응답 생성을 포함한 9개의 NLP 작업을 포함한 17개 데이터셋을 통해 전이 학습을 적용한다.

실험 결과

연구 질문

• RQ1 계층적 트랜스포머 아키텍처는 다양한 인도어 언어와 스페인어를 포함한 복합어 섞인 텍스트에 대해 통합적이고 작업에 의존하지 않는 표현을 효과적으로 학습할 수 있는가?
• RQ2 융합 주의 메커니즘(FAME)은 표준 주의 메커니즘에 비해 복합어 섞인 시퀀스에서 의미적 및 문법적 모델링을 얼마나 향상시키는가?
• RQ3 마스크된 언어 모델링 사전학습은 복합어 섞인 텍스트에서 학습된 표현의 강건성과 군집화 능력을 얼마나 향상시키는가?
• RQ4 모델은 레이블이 있는 데이터에 대한 미세조정 없이도 강력한 제로샷 성능을 달성할 수 있는가?
• RQ5 분류, 시퀀스 레이블링, 텍스트 생성을 포함한 다양한 NLP 작업 간에 학습된 표현의 일반화 능력은 어느 정도인가?

주요 결과

• HIT는 6개의 인도어 언어와 스페인어를 포함한 17개 데이터셋에서 평가된 9개의 모든 NLP 작업에서 최신 기술을 초월한다.
• MLM 사전학습을 적용한 경우 감성 분류 작업에서 실루엣 점수는 0.536, Davies-Bouldin 지수는 0.612를 기록하며, 사전학습되지 않은 버전(실루엣: 0.379, DB: 0.997)보다 뚜렷이 뛰어나다.
• 풍자 분류 작업에서 MLM 사전학습된 HIT는 실루엣 점수에서 +0.262 향상되고 DB 지수는 -0.585 감소하여 사전학습되지 않은 변형보다 우수하다.
• 제로샷 학습에서 모델은 비슷한 의미를 가진 클래스(예: 비유머, 비풍자, 중립)를 그룹화하는 데 성공했으며, 예측 확률 간 피어슨 상관계수는 0.74(p ≤ 0.01)를 기록했다.
• 대화 생성 과제에서 모델는 의미적으로 일관된 응답을 생성하지만, 때로는 의도를 잘못 예측하기도 한다(예: 말레이시아 요리 대신 페르시아 요리 추천).
• 임베딩의 스펙트럼 분석 결과, 사전학습이 의미적으로 유사한 복합어 섞인 텍스트에 대해 더 밀도 있고 군집화된 표현을 생성함을 확인했다.