[논문 리뷰] Predict Emoji Combination with Retrieval Strategy

Weitsung Lin, Ting-Hsuan Chao외 2명|arXiv (Cornell University)|2019. 08. 21.

Natural Language Processing Techniques참고 문헌 8인용 수 5

한 줄 요약

이 논문은 텍스트적 맥락에서 다중 이모지 조합을 예측하기 위한 리트리ieval 기반 전략을 제안한다. 이 방식은 이모지 시퀀스를 언어의 어구로 간주한다. 이모지 확률 예측을 위해 미세조정된 BERT 모델을 활용하고, 빈도와 순서에 따라 사전에 채굴된 이모지 조합을 순위 매김함으로써 F1 점수를 0.141에서 0.204로 향상시켰으며, 이는 단순 및 근시성 기반 베이스라인을 크게 능가한다.

ABSTRACT

As emojis are widely used in social media, people not only use an emoji to express their emotions or mention things but also extend its usage to represent complicate emotions, concepts or activities by combining multiple emojis. In this work, we study how emoji combination, a consecutive emoji sequence, is used like a new language. We propose a novel algorithm called Retrieval Strategy to predict what emoji combination follows given a short text as context. Our algorithm treats emoji combinations as phrase in language, ranking sets of emoji combinations like retrieving words from dictionary. We show that our algorithm largely improves the F1 score from 0.141 to 0.204 on emoji combination prediction task.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 단일 이모지가 아닌 의미 있는 이모지 조합을 예측하는 데 도전하는 것.
• 이모지 조합을 언어적 어구로 모델링하여 개별 이모지 사용을 초월한 의미적 및 구조적 의미를 포착하는 것.
• 그리디 또는 상위-k 선택 전략에 대한 의존도를 줄임으로써 다중 이모지 시퀀스 예측 성능을 향상시키는 것.
• 빈도와 순서를 사용하여 기존의 이모지 조합을 순위 매기는 리트리ieval 기반 방법을 개발하여 관련성과 다양성을 향상시키는 것.
• 학습 가능한 페널티 메커니즘을 통해 정밀도와 재현율 간의 균형을 향상시켜 이모지 조합 예측에서 더 나은 성능을 달성하는 것.

제안 방법

• 1,000만 건의 미국 기반 영어 트윗 데이터에 대해 이모지를 포함한 BERT 기반 모델을 미세조정하며, 마스킹 언어 모델링과 문자 수준 임베딩을 사용하여 OOV(Out-of-Vocabulary) 단어와 철자 오류를 처리한다.
• 일반화된 모델링을 통해 조건부 확률을 근사화함: P(Y|W) ≈ ∏P(y_i|W), 이는 1~3개의 이모지로 구성된 시퀀스에 대해 효율적인 계산을 가능하게 한다.
• 사전에 채굴된 이모지 조합을 빈도와 순서에 따라 순위 매기는 리트리ieval 전략을 적용하며, 각 조합을 언어의 어구로 간주한다.
• 각 후보 이모지 조합에 대해 가중치가 부여된 점수를 계산함: S = log(빈도) - λ × (이모지 수), 여기서 λ는 정밀도와 재현율 간 균형을 맞추기 위한 페널티 초모수이다.
• 예측의 균형을 향상시키기 위해, 너무 짧거나 긴 조합을 억제하기 위해 리트리ieval 점수에 페널티 항목을 도입한다.
• 500개의 이모지 클래스에서 교차 엔트로피 손실을 사용하여 모델을 훈련하며, 계산 효율성을 위해 더 작은 아키텍처(L=10, H=256, A=4)를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 이모지 조합을 언어적 어구로 모델링하여 단일 이모지 출력을 초월한 예측 성능을 향상시킬 수 있는가?
• RQ2 직접 확률 기반 선택 전략과 비교했을 때, 리트리ieval 기반 순위 매김이 예측된 이모지 조합의 품질에 어떤 영향을 미치는가?
• RQ3 정밀도와 재현율을 균형 잡는 페널티 메커니즘이 다중 이모지 예측 작업에서 F1 점수 향상에 기여하는가?
• RQ4 트위터 전용 미리 훈련된 BERT 모델을 사용할 경우 이모지 조합 예측 성능에 어떤 영향을 미치는가?
• RQ5 이모지 시퀀스의 빈도와 순서는 의미 있는 조합 예측에 얼마나 기여하는가?

주요 결과

• 리트리ieval 전략을 통해 F1 점수가 0.141(Naive Top-3)에서 0.204로 상당한 향상되었으며, 이는 기존 베이스라인 방법보다 뚜렷한 성능 향상이다.
• 페널티 초모수 0.3을 사용한 리트리ieval 전략에서 F1 점수 최고치 23.6을 기록하여 정밀도와 재현율 간 최적의 균형을 이룬 것으로 나타났다.
• 리트리ieval 방법은 훈련 코퍼스에서의 실제 사용 패턴을 활용하여 희귀 이모지 포함의 더 의미 있는 이모지 조합을 생성하였다.
• 다양한 임계값을 사용한 그리디 Top-3 전략은 F1 점수 18.1~18.5를 기록하여 리트리ieval 방법에 비해 의미 있는 제한을 보였다.
• 트위터 전용 미리 훈련된 모델과 문자 수준 임베딩의 사용이 트윗의 OOV 및 비공식어 처리에 대한 강건성을 향상시켰다.
• 모든 평가 지표에서 리트리ieval 전략이 모든 기준 베이스라인을 능가하여, 복잡한 이모지 의미를 포착하는 데 효과적임을 입증하였다.