[논문 리뷰] Learning to Respond with Your Favorite Stickers: A Framework of Unifying Multi-Modality and User Preference in Multi-Turn Dialog

Shen Gao, Xiuying Chen외 3명|arXiv (Cornell University)|2020. 11. 05.

Multimodal Machine Learning Applications참고 문헌 94인용 수 9

한 줄 요약

이 논문은 다중 대화 터닝 맥락과 사용자 스티커 선호도를 공동으로 모델링하여 향상된 스티커 추천을 위한 선호도 강화 스티커 응답 선택기인 PESRS를 제안한다. 깊이 있는 상호작용 네트워크, 키-값 메모리 기반의 사용자 선호도 모델링, 그리고 게이트드 퓨전 메커니즘을 통합함으로써 PESRS는 대규모 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 모든 표준 평가 지표에서 이전 방법들을 능가한다.

ABSTRACT

Stickers with vivid and engaging expressions are becoming increasingly popular in online messaging apps, and some works are dedicated to automatically select sticker response by matching the stickers image with previous utterances. However, existing methods usually focus on measuring the matching degree between the dialog context and sticker image, which ignores the user preference of using stickers. Hence, in this paper, we propose to recommend an appropriate sticker to user based on multi-turn dialog context and sticker using history of user. Two main challenges are confronted in this task. One is to model the sticker preference of user based on the previous sticker selection history. Another challenge is to jointly fuse the user preference and the matching between dialog context and candidate sticker into final prediction making. To tackle these challenges, we propose a \emph{Preference Enhanced Sticker Response Selector} (PESRS) model. Specifically, PESRS first employs a convolutional based sticker image encoder and a self-attention based multi-turn dialog encoder to obtain the representation of stickers and utterances. Next, deep interaction network is proposed to conduct deep matching between the sticker and each utterance. Then, we model the user preference by using the recently selected stickers as input, and use a key-value memory network to store the preference representation. PESRS then learns the short-term and long-term dependency between all interaction results by a fusion network, and dynamically fuse the user preference representation into the final sticker selection prediction. Extensive experiments conducted on a large-scale real-world dialog dataset show that our model achieves the state-of-the-art performance for all commonly-used metrics. Experiments also verify the effectiveness of each component of PESRS.

연구 동기 및 목표

• 기존의 스티커 응답 선택 방법이 사용자별 스티커 선호도를 忽시하는 한계를 해결하기 위해.
• 더 정확한 다중 대화 터닝 스티커 추천을 위해 사용자 선호도와 맥락-스티커 매칭을 공동으로 모델링하기 위해.
• 대화 및 스티커 콘텐츠의 상호작용 특징과 사용자 선호도 표현을 동적으로 융합하는 프레임워크를 개발하기 위해.
• 실세계 메시징 애플리케이션에서 스티커 추천의 개인화 및 관련성 향상하기 위해.

제안 방법

• 자기주의 어텐션 기반의 다중 대화 터닝 인코더가 대화 터닝 간의 맥락 표현을 캡처한다.
• 합성곱 신경망(CNN)이 스티커 이미지를 고밀도 임베딩으로 인코딩한다.
• 깊이 있는 상호작용 네트워크가 발화 단어와 스티커 표현 단위 간의 공액 어텐션을 계산하여 미세한 매칭을 모델링한다.
• 위치 인식 히스토리 인코딩 네트워크가 최근 사용자 스티커 선택을 처리하여 사용 패턴의 시간적 패턴을 포착한다.
• 키-값 메모리 네트워크가 현재 맥락에 기반해 사용자 선호도 표현을 저장하고 검색한다.
• 게이트드 퓨전 네트워크가 상호작용 결과와 사용자 선호도 특징을 동적으로 조합한 후 최종 스티커 예측을 수행한다.

실험 결과

연구 질문

• RQ1 다중 대화 터닝 환경에서 역사적 선택 행동으로부터 사용자 스티커 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 맥락 중심 매칭 외에 사용자 선호도를 통합할 경우, 스티커 응답 선택 성능에 얼마나 기여하는가?
• RQ3 사용자 상호작용 히스토리의 단기 및 장기적 종속성은 스티커 추천 정확도에 어떤 영향을 미치는가?
• RQ4 각 구성 요소(예: 메모리 네트워크, 게이트드 퓨전)가 전체 모델 성능에 기여하는 정도는 어떠한가?

주요 결과

• PESRS는 대규모 실세계 대화 데이터셋에서 모든 표준 평가 지표에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 사용자 선호도 모델링의 통합은 맥락-스티커 매칭만으로는 달성할 수 없는 예측 정확도 향상에 기여한다.
• 키-값 메모리 네트워크는 장기적 사용자 선호도를 효과적으로 포착하는 반면, 위치 인식 인코더는 단기적 사용 패턴을 모델링한다.
• 절단 실험 결과, 특히 게이트드 퓨전과 메모리 네트워크가 성능 향상에 의미 있는 기여를 한다는 것이 확인된다.
• 스티커 분류 보조 작업은 65.74%의 정확도를 기록하여 모델이 스티커 이미지에서 의미적 의미를 효과적으로 포착하고 있음을 시사한다.
• 스티커에 분포된 이모티콘 레이블은 높은 다양성을 보이지만, 일관성 없는 레이블링 관행으로 인해 잠재적인 레이블 노이즈가 존재할 수 있음을 시사한다.