[논문 리뷰] Learning Cross-lingual Embeddings from Twitter via Distant Supervision

José Camacho-Collados, Yerai Doval외 4명|arXiv (Cornell University)|2019. 05. 17.

Topic Modeling참고 문헌 49인용 수 4

한 줄 요약

이 논문은 소셜 미디어 텍스트의 노이즈에도 불구하고, 동일한 토큰(예: 코드 스위칭된 단어, 숫자, 이모티콘)을 여러 언어 간에 평균화하여 다국어 워드 임베딩을 정렬하는 간단한 후처리 기법을 제안한다. 트위터 데이터에서 발생하는 노이즈에도 불구하고, 이 방법은 최신의 스테이트오브더아트 다국어 임베딩 모델을 크게 향상시켜, 제로샷 다국어 감성 분석에서 최대 80%의 정확도를 달성하고 일부 경우에서 40% 이상의 성능 향상을 이룬다.

ABSTRACT

Cross-lingual embeddings represent the meaning of words from different languages in the same vector space. Recent work has shown that it is possible to construct such representations by aligning independently learned monolingual embedding spaces, and that accurate alignments can be obtained even without external bilingual data. In this paper we explore a research direction that has been surprisingly neglected in the literature: leveraging noisy user-generated text to learn cross-lingual embeddings particularly tailored towards social media applications. While the noisiness and informal nature of the social media genre poses additional challenges to cross-lingual embedding methods, we find that it also provides key opportunities due to the abundance of code-switching and the existence of a shared vocabulary of emoji and named entities. Our contribution consists of a very simple post-processing step that exploits these phenomena to significantly improve the performance of state-of-the-art alignment methods.

연구 동기 및 목표

• 외부 双어 supervision 없이 노이즈가 많은 사용자 생성 텍스트인 트위터 텍스트에서 직접 고품질의 다국어 워드 임베딩을 학습할 수 있는지 탐색하는 것.
• 공유된 언어 현상(예: 코드 스위칭, 숫자, 이모티콘)이 저자원, 다국어 소셜 미디어 환경에서 자연스러운 정렬 신호로 기능할 수 있는지 조사하는 것.
• 동일한 토큰을 다국어 간에 활용하여 다국어 임베딩 품질을 향상시키는 경량 후처리 방법을 개발하고 평가하는 것.
• 이 접근 방식이 단어 번역 및 제로샷 다국어 감성 분석과 같은 후행 작업에서 저자원 언어에 특히 효과적으로 작용하는지 입증하는 것.
• 영어, 스페인어, 이탈리아어, 독일어, 페르시아어, 핀란드어, 일본어에 대해 사전 학습된 단일 언어 및 다국어 임베딩을 공개하여 더 넓은 연구 활용을 지원하는 것.

제안 방법

• 메서드는 여러 언어의 단일 언어 트위터 코퍼스를 기반으로 사전 훈련된 최신의 무 supervision 다국어 임베딩 모델(예: VecMap)에서 시작한다.
• 이후 동일한 토큰(예: 공유된 단어, 숫자, 이모티콘)을 여러 언어 간에 식별하고, 초기 워드 벡터를 평균화하여 공통 임베딩 공간 내에서 정렬하는 후처리 단계를 도입한다.
• 이 방법은 각 유형의 동일한 토큰(예: 단어 vs. 이모티콘)에 대해 그 신뢰도와 빈도에 따라 다른 중요도를 할당하는 가중치 기반 후처리 전략을 사용한다.
• 초기 정렬 이후 적용되기 때문에, 기존의 어떤 무 supervision 다국어 매핑 방법과도 호환된다.
• 다국어 트위터에서 풍부하게 존재하는 코드 스위칭과 공통 어휘를 활용하여, 이를 암묵적인 지도 신호로 간주한다.
• 최종 임베딩는 타겟 언어에 대한 훈련 데이터 없이 제로샷 전이를 통해 단어 번역 및 다국어 감성 분석에서 평가된다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 사용자 생성 소셜 미디어 텍스트(예: 트위터)는 외부 双어 supervision 없이도 고품질의 다국어 워드 임베딩을 효과적으로 학습하는 데 사용될 수 있는가?
• RQ2 공유된 토큰(예: 숫자, 이모티콘, 코드 스위칭된 단어)이 다국어 임베딩 학습에서 얼마나 신뢰할 수 있는 정렬 신호로 기능할 수 있는가?
• RQ3 동일한 토큰의 벡터 평균화에 기반한 단순한 후처리 전략이 스테이트오브더아트 무 supervision 다국어 정렬 방법의 성능을 얼마나 향상시키는가?
• RQ4 이 방법은 특히 페르시아어와 같이 저자원 언어에 대해 강력한 제로샷 성능을 달성할 수 있는가?
• RQ5 성능 향상은 사용된 공유 토큰의 유형(예: 단어 vs. 이모티콘)에 따라 달라지며, 이러한 유형에 가중치를 적용하면 결과가 향상되는가?

주요 결과

• 제안된 후처리 기법은 타겟 언어에 대한 레이블 데이터가 전혀 없더라도, 스테이트오브더아트 모델 대비 몇 가지 경우에서 다국어 워드 번역 및 감성 분석 성능을 40% 이상 향상시킨다.
• 이 방법은 제로샷 다국어 감성 분석에서 최대 80%의 정확도를 달성하여 영어와 페르시아어 사이의 강력한 전이 능력을 입증한다.
• 모든 동일한 토큰(단어, 숫자, 이모티콘 포함)의 사전을 사용하는 것이 모든 언어와 작업에서 일관되게 최고의 성능을 내며, 대부분의 경우 개별 토큰 유형보다 뛰어난 성능을 보인다.
• 가중치 기반 후처리 전략은 공유 토큰의 이질성을 효과적으로 활용하여, 모든 동일한 토큰이 정렬 품질에 동일하게 기여하지는 않는다는 점을 입증한다.
• 영어-페르시아어와 같은 거리가 먼 언어 쌍에서도 이 방법은 정렬 성능을 크게 향상시키지만, 매우 다를 수 있는 언어 간에는 여전히 과제가 남아 있다.
• 제거 분석 결과, 공유된 단어(상호 언어적 동음이의어)가 성능 향상에 가장 기여하지만, 숫자와 이모티콘만으로도 많은 설정에서 강력한 성능 향상을 달성할 수 있다.