[논문 리뷰] emoji2vec: Learning Emoji Representations from their Description

Ben Eisner, Tim Rocktäschel외 3명|arXiv (Cornell University)|2016. 09. 27.

Sentiment Analysis and Opinion Mining참고 문헌 13인용 수 90

한 줄 요약

이 논문은 유니코드 표준에서 제공하는 설명 텍스트를 기반으로 1,661개의 유니코드 이모지에 대한 조밀한 벡터 표현을 학습하는 emoji2vec을 소개한다. 사전에 훈련된 word2vec 벡터의 단순 bag-of-words 평균을 사용하여 설명 텍스트를 처리함으로써, 1억 건의 트윗에서 훈련된 skip-gram 모델에 비해 훨씬 적은 데이터와 문맥 의존적 훈련 없이도 트위터 감성 분석에서 뛰어난 성능을 달성한다.

ABSTRACT

Many current natural language processing applications for social media rely on representation learning and utilize pre-trained word embeddings. There currently exist several publicly-available, pre-trained sets of word embeddings, but they contain few or no emoji representations even as emoji usage in social media has increased. In this paper we release emoji2vec, pre-trained embeddings for all Unicode emoji which are learned from their description in the Unicode emoji standard. The resulting emoji embeddings can be readily used in downstream social natural language processing applications alongside word2vec. We demonstrate, for the downstream task of sentiment analysis, that emoji embeddings learned from short descriptions outperforms a skip-gram model trained on a large collection of tweets, while avoiding the need for contexts in which emoji need to appear frequently in order to estimate a representation.

연구 동기 및 목표

• word2vec과 GloVe와 같은 기존 단어 임베딩 리소스에 존재하는 사전 훈련된 이모지 표현의 부족을 해결하기 위해.
• 대규모 소셜 미디어 코퍼스에 의존하지 않고도 모든 유니코드 이모지, 특히 낮은 빈도의 이모지에 대해서도 강력하고 일반적인 목적의 이모지 임베딩을 생성하기 위해.
• 단순히 설명 텍스트에서 학습된 이모지 표현이 소셜 미디어에서의 문맥적 사용에서 학습된 표현과 동일하거나 이를 초월할 수 있는지 평가하기 위해.
• 시각화와 유사도 태스크를 통해 이모지 임베딩이 포착하는 의미적 구조를 탐색하기 위해.

제안 방법

• 이 방법은 유니코드 이모지 설명에 포함된 단어들에 대한 사전 훈련된 300차원 word2vec 벡터의 평균을 취해 이모지 임베딩을 학습한다 (예: U+1F602에 대해 'smiling face with tears of joy').
• 각 이모지는 Google News word2vec 임베딩과 동일한 300차원 공간에 매핑되며, 기존 NLP 파ip라인과 직접 호환 가능하다.
• 훈련 데이터는 1,661개의 고유한 이모지 기호에 대한 6,088개의 설명으로 구성되며, 유니코드 이모지 표준에서 수집되었다.
• 모델은 단어 순서나 문법적 구조를 고려하지 않는 단순한 bag-of-words 접근 방식을 사용한다.
• 결과적으로 생성된 emoji2vec 임베딩는 gensim 및 기타 word2vec 호환 라이브러리와 호환되는 형식으로 공개된다.
• 향후 개선 사항으로는 Emojipedia에서 제공하는 완전한 이모지 설명을 통합하고, 더 나은 설명 텍스트 인코딩을 위해 순환 신경망(RNN)을 사용할 계획이다.

실험 결과

연구 질문

• RQ1 대규모 소셜 미디어 문맥이 필요 없이 짧고 간단한 설명 텍스트에서 이모지 표현을 효과적으로 학습할 수 있는가?
• RQ2 유니코드 설명에서 학습된 이모지 임베딩가 대규모 트윗 코퍼스에서 학습된 표현과 유사한 의미적 관계를 포착할 수 있는가?
• RQ3 최소한의 데이터로 훈련된 emoji2vec이 감성 분석과 같은 후행 NLP 작업에서 성능 향상을 이룰 수 있는가?
• RQ4 학습된 이모지 임베딩가 알려진 의미 클러스터(예: 얼굴, 국기, 동물)를 얼마나 잘 반영하는가?
• RQ5 벡터 공간 내 선형 유사도 관계(예: 'man' → 'woman' 이모지 'smiley'의 맥락에서)가 이모지 임베딩에서 얼마나 잘 복원되는가?

주요 결과

• emoji2vec은 1억 건의 트윗에서 훈련된 skip-gram 모델보다 트위터 감성 분석 작업에서 뛰어난 성능을 보였으며, 훨씬 적은 데이터로도 우수한 결과를 낼 수 있음을 입증했다.
• t-SNE를 통한 이모지 임베딩 시각화 결과, 가족, 국기, 동물, 미소 얼굴 등의 의미적 클러스터가 명확하게 드러나, 모델이 직관적인 의미 그룹을 효과적으로 포착하고 있음을 보여준다.
• 간단한 구조임에도 불구하고 emoji2vec 모델은 벡터 공간 내 선형 유사도를 성공적으로 학습했으며, 정답이 종종 상위 3개 이내의 가장 가까운 이웃으로 나타나지만 반드시 첫 번째는 아니다.
• 모델은 낮은 빈도나 희귀 기호를 포함한 전체 1,661개의 유니코드 이모지에 대해 강력한 표현을 제공하며, 이는 일반적으로 문맥 기반 모델에서 잘 표현되지 않는 경우가 많다.
• 임베딩는 기존 NLP 도구와 호환되며, 후행 응용 프로그램에서 word2vec 임베딩와 직접 함께 사용할 수 있다.
• 이 접근 방식은 확장 가능하고 스케일이 가능하며, 향후 Emojipedia의 더 풍부한 설명과 RNN을 통한 더 정교한 시퀀스 인코딩을 통해 향상될 계획이다.