[논문 리뷰] :telephone::person::sailboat::whale::okhand:; or "Call me Ishmael" - How do you translate emoji?

Will Radford, Andrew M. Chisholm외 2명|arXiv (Cornell University)|2016. 11. 07.

Digital Communication and Language참고 문헌 11인용 수 3

한 줄 요약

이 논문은 이모지로 번역된 '이모지 딕'을 분석하여, 통계적 단어 정렬 및 품사 태깅과 같은 자연어 처리 기법을 사용해 이모지가 의사소통 체계로 어떻게 작동하는지 연구한다. 분석 결과 이모지는 명사와 동사를 선호하며 반복 빈도가 높고, 어휘 다양성은 낮지만 의미적 내용은 유지되며, 제한된 맥락에서 간소화된 페지니어 유사 언어처럼 기능할 수 있음을 시사한다.

ABSTRACT

We report on an exploratory analysis of Emoji Dick, a project that leverages crowdsourcing to translate Melville's Moby Dick into emoji. This distinctive use of emoji removes textual context, and leads to a varying translation quality. In this paper, we use statistical word alignment and part-of-speech tagging to explore how people use emoji. Despite these simple methods, we observed differences in token and part-of-speech distributions. Experiments also suggest that semantics are preserved in the translation, and repetition is more common in emoji.

연구 동기 및 목표

• 고위험, 맥락 없는 문학 번역 작업에서 이모지가 어떻게 사용되는지 조사하기 위해.
• 복잡한 문학적 텍스트를 번역할 때 이모지가 의미적 내용을 얼마나 유지하는지 검토하기 위해.
• 분포, 반복, 품사 정렬에 중점을 두어 이모지 및 텍스트 코퍼스의 통계적 특성을 비교하기 위해.
• 품사 분포 및 정렬 패턴을 통해 이모지가 페지니어 언어와 유사한 구조적 유사성을 보이는지 탐색하기 위해.

제안 방법

• 영어 토큰과 이모지 간의 통계적 단어 정렬을 위해 IBM Model 1을 사용하였으며, 9,734개의 정렬된 문장 쌍을 기반으로 훈련하였다.
• 텍스트 및 이모지 양쪽에 품사 태깅을 적용하여 문법적 역할 분포를 분석하였으며, 특히 NN(명사), VB(동사), 기타 품사에 중점을 두었다.
• 어휘 다양성과 지프의 특성 비교를 위해 빈도 분포 및 순위-빈도 플롯(로그 카운트 대 순위)을 계산하였다.
• 이모지의 반복률을 이중어 분석을 통해 측정하였으며, 이모지 코퍼스와 텍스트 코퍼스 간 반복 빈도를 비교하였다.
• 정지어와标 punctuations를 제거하였고, 텍스트 전처리를 위해 NLTK의 기본 토크나이저와 품사 태거를 사용하였다.
• 정렬 신뢰도를 평가하기 위해 상위 이모지-토큰 정렬을 순위 매기고, 품사별 확률을 분석하였다.

실험 결과

연구 질문

• RQ1 고대비, 맥락 없는 환경에서 이모지의 분포와 빈도가 자연어와 어떻게 비교되는가?
• RQ2 복잡한 문학적 텍스트의 이모지 번역에서 의미적 내용은 어느 정도 유지되는가?
• RQ3 이모지는 품사 분포 측면에서 페지니어 언어와 비슷한 문법적 패턴을 보이는가?
• RQ4 반복은 이모지 의사소통에서 어떤 역할을 하는가? 자연어와 비교해 어떻게 다를까?

주요 결과

• 이모지 코퍼스는 어휘 다양성이 크게 낮아, 텍스트 코퍼스의 16,454개 대비 유일한 이모지 유형이 470개 뿐이었다.
• 이모지 문장은 텍스트 문장의 약 절반 길이이며, 문장당 평균 이모지 토큰 수는 9.4개, 텍스트 토큰 수는 20.8개였다.
• 가장 빈번한 이모지는 사람(예: 🧍‍♂️), 고래(예: 🐋), 행동(예: 🛶)과 관련이 있었으며, 명사와 동사와 강하게 정렬되었다.
• 이모지의 이중어 반복 비율은 3.2%였고, 텍스트의 경우 0.4%에 불과하여 반복을 체계적으로 언어적 수단으로 사용하고 있음을 시사했다.
• 품사 분포 분석 결과, 가장 높은 확률의 이모지 정렬 중 70%가 명사(NN)에, 56%가 동사(VB)에 대응하여 강력한 문법적 역할을 하고 있음을 보여주었다.
• 높은 노이즈와 주관성에도 불구하고 정렬 모델은 일관된 매핑을 식별하였으며, 예를 들어 🐋은 'whale', 'sperm', 'whales'와 강하게 연결되어 의미적 기반을 共享함을 시사했다.