[논문 리뷰] soc2seq: Social Embedding meets Conversation Model

Parminder Bhatia, Marsal Gavaldà외 1명|arXiv (Cornell University)|2017. 02. 17.

Machine Learning in Bioinformatics참고 문헌 18인용 수 6

한 줄 요약

이 논문은 사회적 그래프 구조, 사용자 고유의 대화 스타일, 위치 기반 맥락을 통합하여 개인화된 자동 응답 제안을 생성하는 신경 대화 모델인 soc2seq를 소개한다. 주목적 기반 시퀀스-투-시퀀스 모델과 사회적 임bedding을 결합함으로써 강력한 베이스라인 대비 ROUGE 점수 15.81% 향상 달성하여 개인화 및 응답의 적합성이 향상됨을 입증함.

ABSTRACT

While liking or upvoting a post on a mobile app is easy to do, replying with a written note is much more difficult, due to both the cognitive load of coming up with a meaningful response as well as the mechanics of entering the text. Here we present a novel textual reply generation model that goes beyond the current auto-reply and predictive text entry models by taking into account the content preferences of the user, the idiosyncrasies of their conversational style, and even the structure of their social graph. Specifically, we have developed two types of models for personalized user interactions: a content-based conversation model, which makes use of location together with user information, and a social-graph-based conversation model, which combines content-based conversation models with social graphs.

연구 동기 및 목표

• Yik Yak과 같은 모바일 소셜 앱에서 일반적이고 개인화되지 않은 응답 생성의 한계를 해결하기 위해.
• 사용자 고유의 대화 스타일, 위치 맥락, 사회적 그래프 구조를 통합하여 자동 응답 제안을 향상시키기 위해.
• 사회적 상호작용에서 파생된 분산 임베딩을 통해 사용자 페르소나를 모델링하여 응답의 일반화를 줄이고 관련성을 높이기 위해.
• 사회적 그래프 임베딩을 활용하여 개인화된 응답 생성에서의 데이터 희소성 및 콜드 스타트 문제를 극복하기 위해.

제안 방법

• 위치 기반 및 사용자 기반 대화 모델과 사용자 임베딩과 대화 기록을 융합하는 사회적 그래프 강화 모델을 결합한 이중 모델 프레임워크를 제안함.
• 입력 맥락과 응답 생성을 위한 별도의 인코더를 갖춘 주목적 기반 시퀀스-투-시퀀스 LSTM 아키텍처를 사용하여 맥락 인식 디코딩을 가능하게 함.
• 좋아요, 댓글 등의 사회적 그래프 데이터를 활용해 사용자 임베딩을 사전 학습함으로써 유사한 응답 행동을 보이는 사용자 군집을 포착함.
• 대화 기록과 사회적 상호작용 데이터를 모두 활용해 사용자 임베딩을 미세조정하여 개인화를 향상시키고 퍼즐리티를 감소시킴.
• n-그램 겹침과 생성 품질을 각각 평가하기 위해 ROUGE와 퍼즐리티를 평가 지표로 사용함.
• 사용자 및 위치 임베딩을 인코더 및 디코더 네트워크에 통합하고, 각 구성 요소의 기여도를 평가하기 위해 아블레이션 연구를 실시함.

실험 결과

연구 질문

• RQ1 사회적 그래프 구조를 신경 대화 모델에 통합할 경우, 자동 응답 제안의 개인화 및 관련성 향상에 상당한 기여를 할 수 있는가?
• RQ2 사용자 고유의 대화 스타일과 위치 맥락을 통합할 경우, 일반적인 seq2seq 베이스라인 대비 응답 품질은 어떻게 향상되는가?
• RQ3 사회적 그래프에서 유도된 임베딩이 개인화된 응답 생성에서의 데이터 희소성 및 콜드 스타트 문제를 어느 정도 완화하는가?
• RQ4 사용자 임베딩을 인코더와 디코더 입력에 모두 통합할 경우 응답 품질은 향상되는가, 아니면 匿명 환경에서 노이즈를 유발하는가?

주요 결과

• 조정된 사회적 사용자 모델은 표준 LSTM 베이스라인 대비 ROUGE F1 점수 15.81% 향상되었으며, ROUGE-L 점수는 32.60(베이스라인 29.26)로 상승함.
• 위치 기반 모델은 디코더 및 인코더에서 퍼즐리티를 72.7로 낮혀 표준 LSTM 베이스라인(79.1) 대비 8% 향상됨.
• 사용자 기반 모델은 베이스라인보다 성능이 열 劣함(퍼즐리티 80.7), 데이터 희소성과 높은 임베딩 차원(10만 명의 사용자 대비 1만 개의 위치)으로 인한 것으로 보임.
• 사전 학습된 사회적 그래프 임베딩만으로도 성능 향상(퍼즐리티 72.4)을 달성했으며, 미세조정 없이도 사회적 상호작용 패턴이 의미 있는 응답 스타일 군집을 포착함을 시사함.
• 사회적 상호작용 데이터와 대화 기록 데이터를 모두 활용해 사용자 임베딩을 미세조정함으로써 퍼즐리티가 1.5점 감소(72.4 → 70.9)하여 공동 학습의 가치를 확인함.
• 디코더 전용 사용자 모델이 인코더 및 디코더 버전보다 우수한 성능을 보였으며, 이는 匿명 환경에서는 화자 신원 자체가 응답 품질 향상에 기여하지 않는다는 것을 시사함.