[논문 리뷰] Understanding Chat Messages for Sticker Recommendation in Hike Messenger.

Abhishek Laddha, Mohamed Hanoosh외 3명|arXiv (Cornell University)|2019. 02. 07.

Digital Communication and Language인용 수 6

한 줄 요약

이 논문은 Hike 메신저를 위한 실시간 스티커 추천 시스템을 제안하며, 밀도 높은 메시지 임베딩과 문자 수준의 CNN을 통해 사용자 의도를 예측하고, 철자적 변형이 있는 메시지를 의미적으로 유사하게 군집화하여 저성능 기기에서 최소한의 지연 시간으로 추천 정확도를 향상시킵니다.

ABSTRACT

Stickers are popularly used in messaging apps such as Hike to visually express a nuanced range of thoughts and utterances to convey exaggerated emotions. However, discovering the right sticker from a large and ever expanding pool of stickers while chatting can be cumbersome. In this paper, we describe a system for recommending stickers in real time as the user is typing based on the context of conversation. We decompose the sticker recommendation problem into two steps. First, we predict the message that the user is likely to send in the chat. Second, we substitute the predicted message with an appropriate sticker. Majority of Hike's messages are in the form of text which is transliterated from users' native language to the Roman script. This leads to numerous orthographic variations of the same message and complicates message prediction. To address this issue, we learn dense representations of chat messages and use them to cluster the messages that have same meaning. In the subsequent steps we predict the message cluster instead of the message. Our model employs a character level convolution network to capture the similar intents in orthographic variants of chats. We validate our approach using manually labelled data on two tasks. We also propose a novel hybrid message prediction model, which can run with low latency on low end phones that have severe computational limitations.

연구 동기 및 목표

• Hike 메신저에서 사용자 메시지의 철자적 변형이 존재하는 상황에서도 실시간으로 관련 스티커를 추천하는 문제를 해결하기 위해.
• 채팅 메시지의 밀도 높은 표현을 학습하여 자원이 제한된 환경에서 메시지 예측 정확도를 향상시키기 위해.
• 정확한 텍스트 문자열을 예측하는 대신 메시지 의도를 예측하여 사용자가 적절한 스티커를 찾는 데 드는 노력을 줄이기 위해.
• 저성능 모바일 기기에서 제한된 계산 능력으로도 효율적으로 작동하는 하이브리드 메시지 예측 모델을 설계하기 위해.
• 철자 및 번역 변형이 존재하더라도 의미적으로 동일한 메시지를 군집화하여 확장 가능한 스티커 추천을 가능하게 하기 위해.

제안 방법

• 시스템은 메시지의 의미적 유사성을 철자적 변형 간에 포괄적으로 포착할 수 있도록 밀도 높은 문맥 표현을 학습하기 위해 문자 수준의 합성곱 신경망(CNN)을 사용합니다.
• 학습된 밀도 높은 임베딩을 기반으로 메시지를 군집화하여 의미적으로 동일한 메시지를 그룹화함으로써 스티커 매핑을 위한 검색 공간을 축소합니다.
• 사용자가 타이핑하는 동안 가장 가능성 높은 메시지 군집을 예측함으로써 정확한 텍스트를 예측하는 것보다 더 빠르고 강력한 의도 인식이 가능합니다.
• 정확도와 추론 속도를 균형 잡기 위해 하이브리드 메시지 예측 모델을 설계하였으며, 저성능 모바일 기기에서의 배포를 최적화했습니다.
• 예측된 메시지 군집을 사전에 정의된 의미적으로 일치하는 스티커 집합에 매핑하여 스티커를 추천합니다.
• 비영어권 텍스트가 로마자로 번역된 경우에도 문제를 해결하기 위해 번역 인식 임베딩을 활용합니다.

실험 결과

연구 질문

• RQ1 사용자 메시지에 광범위한 철자적 변형이 존재하는 상황에서 메시지 예측을 어떻게 향상시킬 수 있을까요?
• RQ2 학습된 밀도 높은 메시지 임베딩의 군집화가 스티커 추천 정확도 향상과 계산 부담 감소에 기여할 수 있을까요?
• RQ3 자원이 제한된 모바일 기기에서 저지연, 저복잡도 모델의 메시지 예측 성능는 어떨까요?
• RQ4 문자 수준의 CNN이 다양한 철자 오류와 번역 변형이 있는 동일한 메시지 간의 의미적 의도를 효과적으로 포착할 수 있을까요?
• RQ5 정확한 메시지를 예측하는 것 대신 메시지 군집을 예측하는 것이 스티커 추천의 관련성 향상에 어느 정도 기여할까요?

주요 결과

• 제안된 시스템은 사용자 메시지의 철자적 변형이 심한 상황에서도 메시지 의도 예측에 높은 정확도를 달성합니다.
• 학습된 밀도 높은 임베딩을 기반으로 메시지를 군집화함으로써 스티커 추천의 복잡도를 낮추면서도 관련성을 유지합니다.
• 하이브리드 메시지 예측 모델은 저지연으로 실시간 추론을 가능하게 하여 저성능 모바일 기기에서의 배포에 적합합니다.
• 문자 수준의 CNN은 동일한 메시지의 번역 및 철자 오류가 있는 변형 간의 의미적 유사성을 효과적으로 포착합니다.
• 정확한 텍스트 매칭에 의존하는 기준 모델 대비 시스템은 스티커 추천 성능이 향상됨을 입증합니다.
• 수동 평가를 통해 예측된 메시지 군집이 사용자 감정과 대화적 맥락과 잘 일치하는 것으로 확인되었습니다.