[논문 리뷰] Diversifying Reply Suggestions using a Matching-Conditional Variational Autoencoder

Budhaditya Deb, Peter Bailey외 1명|arXiv (Cornell University)|2019. 03. 25.

Topic Modeling참고 문헌 19인용 수 9

한 줄 요약

이 논문은 메시지 임베딩과 확률적 잠재 변수를 조건으로 삼아 응답 제안의 다양성을 높이는 잠재변수 모델인 Matching-Conditional Variational Autoencoder (M-CVAE)를 제안한다. 제약 조건이 있는 샘플링을 통해 효율적인 추론을 가능하게 함으로써 M-CVAE는 관련성 손실 없이 응답 다양성을 30–40% 향상시켰으며, Skype에서 실시한 온라인 A/B 테스트에서 클릭률이 5% 향상되었다.

ABSTRACT

We consider the problem of diversifying automated reply suggestions for a commercial instant-messaging (IM) system (Skype). Our conversation model is a standard matching based information retrieval architecture, which consists of two parallel encoders to project messages and replies into a common feature representation. During inference, we select replies from a fixed response set using nearest neighbors in the feature space. To diversify responses, we formulate the model as a generative latent variable model with Conditional Variational Auto-Encoder (M-CVAE). We propose a constrained-sampling approach to make the variational inference in M-CVAE efficient for our production system. In offline experiments, M-CVAE consistently increased diversity by ~30-40% without significant impact on relevance. This translated to a 5% gain in click-rate in our online production system.

연구 동기 및 목표

• 상업적 IM 시스템 내 자동 응답 제안의 의미적 다양성 부족 문제를 해결하기 위해.
• 매칭 기반 정보 검색 아키텍처의 효율성과 관련성을 유지하면서 응답 다양성을 도입하기 위해.
• 생성 모델을 생산 환경에서 스케일링하고 저지연으로 추론할 수 있도록 하기 위해.
• 응답 제안의 의미적 다양성이 증가함에 따라 사용자 참여도가 향상되는지, 클릭률을 측정함으로써 검증하기 위해.
• 잠재변수 모델링이 단일 메시지-응답 쌍에서 다양한 대화 의도를 효과적으로 포착하고 생성할 수 있는지 보여주기 위해.

제안 방법

• 매칭 기반 응답 검색 시스템을 조건부 변동 자동기록기(CVAE)로 재구성하여, 숨겨진 대화 의도를 모델링하기 위해 확률적 잠재 변수를 도입한다.
• 양방향 LSTM 인코더를 사용해 메시지와 응답을 동일한 벡터 공간에 임bedding하며, 공동 최적화를 위한 대칭적 손실을 적용한다.
• 변동 추론을 적용해 M-CVAE 모델을 훈련시켜, 입력 메시지와 샘플된 잠재 코드를 조건으로 삼아 다양한 응답 벡터를 생성하도록 한다.
• 추론 중에 잠재 샘플 수를 제한하는 제약 조건이 있는 샘플링 전략을 도입하여, 생산 시스템에 적합한 저지연 추론을 보장한다.
• 다수의 샘플된 응답에 대해 투표를 적용해 후보를 순위 매김함으로써 다양성을 향상시키면서도 관련성을 유지한다.
• 빠른 검색을 위해 사전에 응답 벡터를 계산하고 캐시함으로써, 원래의 매칭 기반 정보 검색 프레임워크의 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 잠재변수 모델이 매칭 기반 검색 시스템에 효과적으로 통합되어 응답 다양성을 향상시킬 수 있는가?
• RQ2 CVAE 아키텍처를 통해 도입된 확률성이 응답 제안의 의미적 다양성을 높이되 관련성은 떨어지지 않는가?
• RQ3 제약 조건이 있는 샘플링 전략이 변동 추론을 충분히 스케일링하고 효율적으로 만들어 실시간 생산 환경에서 고처리량 시스템에 적용할 수 있는가?
• RQ4 응답 다양성이 증가하면 클릭률을 통해 측정된 사용자 참여도가 향상되는가?
• RQ5 M-CVAE 모델은 IM에서 이메일에 이르기까지 다양한 대화 도메인으로 일반화될 수 있는가?

주요 결과

• 오프라인 평가에서 M-CVAE는 내재적 다양성 지표로 측정해 약 30–40%의 응답 다양성 향상을 기록했다.
• 모델은 관련성 손실 없이도 높은 관련성을 유지했으며, 검색 성능이나 관련성 지표에 유의미한 하락이 없었다.
• Skype에서 실시한 온라인 A/B 테스트에서 M-CVAE는 기준 매칭 모델 대비 5% 높은 클릭률을 기록했다.
• 클릭률 향상의 주요 원인은 2위 및 3위 응답 위치에서의 성능 향상으로, 다양한 의도의 커버리지가 향상되었음을 시사한다.
• 제약 조건이 있는 샘플링 전략 덕분에 저지연 추론이 가능해져, CVAE의 생성적 성격에도 불구하고 모델을 생산 환경에 배포할 수 있었다.
• 모델은 Skype 전체 사용자 대상으로 성공적으로 배포되었으며, Outlook Web App에서도 유사한 성과를 기록해 다양한 대화 도메인으로의 일반화 능력을 입증했다.