[논문 리뷰] Time to Take Emoji Seriously: They Vastly Improve Casual Conversational Models

Pieter Delobelle, Bettina Berendt|arXiv (Cornell University)|2019. 10. 30.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 표준 유니코드 이모지와 커스터마이징 이모지를 모두 통합한 확장 토큰화를 통해 BERT 기반 대화 모델을 향상시키는 것을 제안한다. 고 이모지 비중이 높은 QA 데이터셋으로 BERT를 미세조정함으로써, 1-of-100 응답 선택 정확도가 12.7%에서 17.8%로 향상되었으며, 이는 이모지가 일상 대화에서 맥락 이해를 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Graphical emoji are ubiquitous in modern-day online conversations. So is a single thumbs-up emoji able to signify an agreement, without any words. We argue that the current state-of-the-art systems are ill-equipped to correctly interpret these emoji, especially in a conversational context. However, in a casual context, the benefits might be high: a better understanding of users' utterances and more natural, emoji-rich responses. With this in mind, we modify BERT to fully support emoji, both from the Unicode Standard and custom emoji. This modified BERT is then trained on a corpus of question-answer (QA) tuples with a high number of emoji, where we're able to increase the 1-of-100 accuracy from 12.7% for the current state-of-the-art to 17.8% for our model with emoji support.

연구 동기 및 목표

• 최신 대화 모델에서 이모지 지원의 부족으로 인해 일상 대화에서 사용자 의도를 정확히 해석하는 데 어려움이 있다는 문제를 해결하기 위해.
• 이모지를 첫 번째 등급의 토큰으로 통합함으로써 응답 선택 작업 성능 향상 여부를 조사하기 위해.
• 표준 유니코드 이모지와 애플리케이션 전용 커스터마이징 이모지를 모두 지원하는 토큰화 및 훈련 프레임워크를 개발하기 위해.
• 고 이모지 비중 데이터셋을 사용하여 이모지 인식 모델링의 영향을 후행 대화형 AI 성능에 평가하기 위해.
• 적절히 인코딩된 경우 이모지가 의미 있는 맥락 신호를 지니며 모델 성능 향상에 기여한다는 것을 입증하기 위해.

제안 방법

• 모든 표준 유니코드 이모지와 커스터마이징 이모지를 별개의 토큰으로 포함시켜 BERT 토크나이저를 확장함으로써, 이모지가 서브워드 토크나이징되지 않도록 보장한다.
• 8.75%의 대화 문장에서 이모지가 포함된 600개의 대화-응답 쌍으로 구성된 정제된 데이터셋으로 BERT를 미세조정한다.
• 이모지를 어휘에 포함된 유효한 토큰으로 간주하고, 마스크된 언어 모델링 목표를 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• 입력당 100개의 후보 응답 중에서 1-of-100 정확도와 평균 순위를 사용하여 성능을 평가하며, 부정적 후보는 무작위로 샘플링한다.
• 기본 아키텍처로 다국어 BERT base 모델을 사용하며, 어휘 확장 외에는 트랜스포머 아키텍처에 수정을 가하지 않는다.
• 이모지를 시퀀스나 수정자와 함께 포함된 경우에도 단일 토큰으로 유지하는 일관된 토크나이제이션 체계를 적용한다.

실험 결과

연구 질문

• RQ1 BERT에 이모지를 별개의 토큰으로 통합함으로써 일상 대화의 응답 선택 성능 향상 여부는 어떻게 되는가?
• RQ2 자원이 제한된 비공식적인 대화 맥락에서 이모지는 의도의 모호성을 어느 정도 해소하는가?
• RQ3 입력에 이모지가 포함되어 있을 때와 없을 때 이모지 지원이 모델 성능에 어떤 영향을 미치는가?
• RQ4 통합된 토크나이제이션 체계는 표준 유니코드 이모지와 애플리케이션 전용 커스터마이징 이모지를 모두 처리할 수 있는가?
• RQ5 응답 선택 정확도 향상은 이모지 의미에 대한 더 나은 정렬 때문인가, 아니면 모델 용량 증가 때문인가?

주요 결과

• 이모지 보강된 BERT 모델은 1-of-100 정확도 17.8%를 달성하여 기준 모델의 12.7% 대비 5.1%포인트 향상되었다.
• 정답 응답의 평균 순위는 33에서 31로 약간 감소하여, 이모지가 존재할 경우 모델이 정답 응답을 선택하는 데 더 확신을 갖게 되었다는 것을 시사한다.
• 성능 향상은 주로 입력에 이모지가 포함된 경우에 기인하며, 이는 이모지가 해당 경우에 의미 있는 맥락 신호를 제공한다는 것을 의미한다.
• 이모지가 없는 경우, 모델의 성능은 거의 변화가 없어, 이모지 지원이 이모지가 없는 입력에서 성능을 떨어뜨리지 않는다는 것을 나타낸다.
• 모델은 표준 유니코드 이모지와 커스터마이징 이모지를 모두 성공적으로 처리하였으며, 토크나이제이션 체계가 유니코드 설명이나 외부 주석에 의존하지 않기 때문이다.
• 결과는 이모지가 단순한 장식이 아니라 의미적 및 회화적 정보를 지니며, 적절히 인코딩된 경우 응답 선택 성능 향상에 기여한다는 것을 시사한다.