[논문 리뷰] Emojis Decoded: Leveraging ChatGPT for Enhanced Understanding in Social Media Communications

Yuhang Zhou, Paiheng Xu외 4명|arXiv (Cornell University)|2024. 01. 22.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 연구는 ChatGPT가 이모지 의미, 감성 및 사용 의도를 해석하는 데 있어 인간 애너테이터와의 높은 일치도를 보이며, 이모지 연구에서 인간 애너테이터를 효과적으로 대체할 수 있음을 평가한다. 또한 이모지 의미를 설명함으로써 의사소통의 명확성을 향상시키며, 다양한 작업 및 문화적 맥락에서 인간 전문가 수준의 성능을 보인다.

ABSTRACT

Emojis, which encapsulate semantics beyond mere words or phrases, have become prevalent in social network communications. This has spurred increasing scholarly interest in exploring their attributes and functionalities. However, emoji-related research and application face two primary challenges. First, researchers typically rely on crowd-sourcing to annotate emojis in order to understand their sentiments, usage intentions, and semantic meanings. Second, subjective interpretations by users can often lead to misunderstandings of emojis and cause the communication barrier. Large Language Models (LLMs) have achieved significant success in various annotation tasks, with ChatGPT demonstrating expertise across multiple domains. In our study, we assess ChatGPT's effectiveness in handling previously annotated and downstream tasks. Our objective is to validate the hypothesis that ChatGPT can serve as a viable alternative to human annotators in emoji research and that its ability to explain emoji meanings can enhance clarity and transparency in online communications. Our findings indicate that ChatGPT has extensive knowledge of emojis. It is adept at elucidating the meaning of emojis across various application scenarios and demonstrates the potential to replace human annotators in a range of tasks.

연구 동기 및 목표

• 이모지 연구에서 인간 애너테이터의 실질적인 대안이 될 수 있는지 평가하기 위해.
• ChatGPT가 다양한 커뮤니티(예: 성별, 플랫폼, 문화) 간의 이모지 사용 패턴을 이해하는 데 얼마나 잘 기반을 두고 있는지 평가하기 위해.
• irony 탐지 및 이모지 예측과 같은 후행 작업에서 ChatGPT의 성능을 테스트하기 위해.
• GPT-4V가 시각적 이해를 통해 비-유니코드 이모지의 의미를 해석할 잠재력을 탐색하기 위해.
• 프롬프트 설계 및 모델 온도 설정이 응답 일관성에 미치는 영향을 검토하기 위해.

제안 방법

• ChatGPT는 텍스트적 맥락 유무에 관계없이 이모지 의미, 감성 및 사용 의도를 설명하도록 프롬프트가 입력되었다.
• 플랫폼, 성별, 해시태그, 문화적 신호를 활용하여 커뮤니티 간 이모지 사용 패턴을 식별하는 능력을 평가하였다.
• 후행 작업으로는 irony 애너테이션 및 이모지 예측이 포함되었으며, 성능은 인간 애너테이션 기준과 비교되었다.
• 비-유니코드 이모지의 경우, GPT-4V는 이미지 입력과 맥락 프롬프트를 활용하여 시각-의미적 이해 능력을 평가하였다.
• 질적 작업에는 창의성을 극대화하기 위해 온도 하이퍼파라미터를 0.7로 설정하였고, 정량적 작업에는 일관성을 확보하기 위해 0으로 설정하였다.
• 모든 실험에서 프롬프트를 표준화하였으며, 비표준 이모지의 경우 문화적 맥락을 추가로 제공하여 환상(hallucination) 위험을 줄였다.

실험 결과

연구 질문

• RQ1 RQ1: ChatGPT가 생성한 이모지 의미, 감성 및 의도 설명이 인간 애너테이션과 일치하는가?
• RQ2 RQ2: ChatGPT는 성별, 플랫폼, 문화 등 다양한 커뮤니티와 연관된 이모지 사용 패턴에 대해 지식을 잘 보유하고 있는가?
• RQ3 RQ3: irony 애너테이션 및 이모지 예측과 같은 이모지 관련 후행 작업에서 ChatGPT의 성능은 어떠한가?
• RQ4 RQ4: GPT-4V의 시각-의미적 능력은 비-유니코드 이모지를 해석하는 데 있어 GPT-4와 비교해 어떻게 다른가?
• RQ5 RQ5: ChatGPT의 이모지 해석은 프롬프트 설계 및 온도 설정에 얼마나 민감한가?

주요 결과

• ChatGPT의 이모지 의미, 감성 및 의도 설명은 대부분의 경우 인간 애너테이션 레이블과 밀도 있게 일치하여 강력한 의미 이해 능력을 보였다.
• ChatGPT는 성별, 플랫폼, 문화적 맥락을 포함한 다양한 커뮤니티 간 이모지 사용 패턴에 대해 일관된 지식를 보였다.
• irony 애너테이션 및 이모지 예측 작업에서 ChatGPT는 인간 기준 수준의 성능을 달성하여 강력한 후행 적용 가능성을 입증하였다.
• GPT-4V는 문화적 맥락이 제공된 경우 (broken) 및 (onlooker)와 같은 비-유니코드 이모지를 성공적으로 해석하여 환상 위험을 감소시켰다.
• ‘pleading face’ 이모지의 경우, GPT-4는 긍정(공감)으로 분류한 반면, GPT-4V는 부정(내리마크)으로 분류하여 맥락 기반의 해석 차이를 보였다.
• 모델의 응답은 프롬프트 설계에 민감했으며, 특히 비표준 이모지의 경우 문화적 맥락을 제공함으로써 정확도가 크게 향상되었다.