[논문 리뷰] Smart Reply: Automated Response Suggestion for Email

Anjuli Kannan, Karol Kurach외 9명|arXiv (Cornell University)|2016. 06. 15.

Personal Information Management and User Behavior참고 문헌 21인용 수 140

한 줄 요약

본 논문은 LSTM을 사용한 짧고 다양한 이메일 응답을 생성하는 End-to-End 시스템인 Smart Reply를 제시하며, 응답의 준지도형 의미 클러스터링과 생산 환경에서의 확장성과 프라이버시를 보장하는 트리거링 모듈을 포함한다.

ABSTRACT

In this paper we propose and investigate a novel end-to-end method for automatically generating short email responses, called Smart Reply. It generates semantically diverse suggestions that can be used as complete email responses with just one tap on mobile. The system is currently used in Inbox by Gmail and is responsible for assisting with 10% of all mobile responses. It is designed to work at very high throughput and process hundreds of millions of messages daily. The system exploits state-of-the-art, large-scale deep learning. We describe the architecture of the system as well as the challenges that we faced while building it, like response diversity and scalability. We also introduce a new method for semantic clustering of user-generated content that requires only a modest amount of explicitly labeled data.

연구 동기 및 목표

• 모바일에서 짧은 이메일 답장을 돕는 도전 과제를 동기 부여하고 해결한다.
• 높은 품질의 다양하고 확장 가능한 회신 제안을 생성하는 End-to-End 시스템을 개발한다.
• 데이터를 집계하고 콘텐츠를 제한적으로 검토하는 방식으로 프라이버시를 보장한다.
• 생산 환경의 대기 시간 제약을 충족하면서 응답 품질과 유용성 및 다양성을 균형 있게 달성한다.

제안 방법

• 수신 이메일에 대해 가능한 응답의 점수를 매기기 위해 순차-대-순차(sequence-to-sequence) LSTM 모델을 사용한다.
• 높은 품질과 관리 가능한 다양성을 보장하기 위해 준지도 그래프 학습을 통해 오프라인에서 제한된 응답 집합 R을 생성한다.
• R에서 서로 다른 의미 의도를 공유하는 비중복 응답을 선택하여 다양성을 강화한다.
• 불필요한 계산을 줄이기 위해 응답을 노출할지 결정하는 트리거링 모델(피드포워드 네트워크)을 도입한다.
• R을 트라이로 구성하고 빔 서치를 통해 O(b l) 복잡도로 검색을 수행한다.
• 너무 일반적인 응답을 벌주하기 위해 정규화를 적용하고 적절한 경우 긍정/부정 옵션을 강제한다.

실험 결과

연구 질문

• RQ1 엔드투엔드 시스템이 모바일 맥락에서 유용한 짧고 완전한 이메일 응답을 생성할 수 있는가?
• RQ2 확장성을 유지하면서 큰 응답 공간 내에서 고품질의 다양하고 응답 옵션을 어떻게 보장할 수 있는가?
• RQ3 트리거링, 다양성 제약 등 어떤 메커니즘이 최종 사용자 유용성과 생산성 향상에 기여하는가?
• RQ4 사용자 생성 콘텐츠의 준지도 학습 클러스터링이 응답의 의미 의도를 정의하는 데 얼마나 효과적인가?

주요 결과

• Smart Reply는 Inbox에서 모바일 이메일 회신의 약 10%를 차지한다.
• 트리거링 모델이 약 11%의 메시지를 필터링하여 불필요한 점수화를 피한다.
• LSTM 기반 점수화기와 제한된 응답 공간이 일관되고 타당한 짧은 응답을 산출한다.
• 트라이에서의 빔 서치는 빔 크기 128일 때 일부 경우에 전체 점수에 대한 상위 응답이 약 99%에 일치하는 확장 가능한 검색을 가능하게 한다.
• 다양성과 의도 기반 클러스터링은 원시 모델 출력에 비해 유용성을 높인다(일반적인 응답 감소 및 다양성 증가).
• 준지도 방식의 Expander 기반 그래프 학습은 응답 의도에 대한 해석 가능한 의미 클러스터를 산출한다.