[논문 리뷰] Efficient Natural Language Response Suggestion for Smart Reply

Matthew Henderson, Rami Al‐Rfou외 7명|arXiv (Cornell University)|2017. 05. 01.

Topic Modeling참고 문헌 28인용 수 220

한 줄 요약

이 논문은 n-gram 임베딩과 계층적 양자화를 사용해 스마트 리플라이 후보를 점수화하고 순위를 매기는 빠른 피드포워드 모델을 제시합니다. 품질은 Seq2Seq보다 우수하고 계산 비용과 대기 시간이 훨씬 낮습니다.

ABSTRACT

This paper presents a computationally efficient machine-learned method for natural language response suggestion. Feed-forward neural networks using n-gram embedding features encode messages into vectors which are optimized to give message-response pairs a high dot-product value. An optimized search finds response suggestions. The method is evaluated in a large-scale commercial e-mail application, Inbox by Gmail. Compared to a sequence-to-sequence approach, the new system achieves the same quality at a small fraction of the computational requirements and latency.

연구 동기 및 목표

• 실제 이메일 앱에서 스마트 답장 응답 제안의 계산 비용과 대기 시간을 줄인다.
• 입력-응답 적합성 모델링을 위한 피드포워드 비순환 아키텍처 조사.
• 미리 정해진 큰 후보 응답 세트에서 빠르고 확장 가능한 검색 가능성 확보.
• 여러 특징과 바이어스 보정 활용으로 응답 품질 향상.
• 생산 Gmail Inbox Smart Reply 설정에서 엔드 투 엔드 개선 시연.

제안 방법

• n-그램 임베딩의 합으로 구성된 고정 차원 특징으로 입력 이메일과 응답 표현.
• 입력 x와 후보 y에 대해 S(x,y)를 할당하는 신경 스코어링 모델을 학습, 공동 및 내적 곱 아키텍처.
• S(x,y)=hx^T hy의 내적 분해를 사용해 응답 벡터를 사전 계산하고 효율적 MIPS 스타일 검색을 가능하게 한다.
• 배치에서 다중 음수를 사용해 P(y|x)를 근사하고 음의 로그 가능도 목표(Eq. 5)를 최적화한다.
• 다른 입력 신호를 활용한 다중 손실 아키텍처를 통해 여러 특징을 통합해 스코어링을 향상시킨다.
• 언어 모델 기반 항 α log PLM(y)를 사용해 일반적인 응답을 유도하는 응답 바이어싱을 적용한다.
• 벡터 양자화와 곱 양자화를 결합한 계층적 양자화(HQ)를 적용해 응답에 대한 빠른 근사 검색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 n-그램 임베딩을 갖춘 피드포워드 비순환 모델이 응답 제안 품질에서 Seq2Seq와 일치하거나 이를 능가할 수 있는가?
• RQ2 응답 선택을 위한 공동 스코어링과 내적 스코어링 아키텍처 간 성능 트레이드는 무엇인가?
• RQ3 다중 특징과 음수 샘플링 전략이 랭킹 정확도에 어떤 영향을 미치는가?
• RQ4 계층적 양자화가 최상위 응답의 빠르고 높은 재현율 검색에 얼마나 효과적인가?
• RQ5 생산 스마트 리플라이 시스템에서 어떤 온라인 성능 향상(전환율, 대기시간)을 달성할 수 있는가?

주요 결과

시스템/실험	실험	Seq2Seq 대비 전환율	Seq2Seq 대비 대기시간
Exhaustive search	Score all responses with joint model	–	500%
Two pass	Dot-product then joint scoring	67%	10%
Include response bias	Add language-model bias term	88%	10%
Improve sampling and multi-loss	Dataset improvements with multi-loss	104%	10%
Single pass	Remove second pass with enhanced dot-product model	104%	2%
Hierarchical quantization	Fast search with HQ over responses	104%	1%

• 내적-임베딩 기반 모델은 공동 모델보다 정확도에 근접하거나 더 우수하면서 학습은 더 효율적이다.
• 100개의 후보로 구성된 테스트 세트에서 P@1은 공동 모델의 49%이고 내적-곱 모델은 48%(배치 25) 또는 52%(배치 50)이다.
• 온라인 시스템 반복은 대기시간을 거의 개선 없이 상당한 감소를 보여주며 전환율이 비슷하거나 향상된다: 두 패스 접근 방식은 10% 대기시간으로 67% 전환; 단일 패스에 향상된 음수 및 다중 손실 특징으로 Seq2Seq 대비 2%의 대기시간으로 104% 전환; 계층적 양자화로 품질 저하 없이 속도가 두 배로 더 빨라졌다.
• 응답 바이어싱을 언어 모델 용어로 포함시키면 제안 품질이 향상된다(표 3의 행 3).
• 온라인 실험에서 큰 배치의 음수 및 다중 손실 아키텍처로 기존 Seq2Seq 대비 성능이 향상된다(행 4).
• 최종 단일 패스 시스템은 내적 스코어링과 계층적 검색을 사용해 계산량의 일부분만으로 유사하거나 더 나은 품질를 달성한다(행 5 및 행 6).