[論文レビュー] Smart Reply: Automated Response Suggestion for Email

Anjuli Kannan, Karol Kurach+9 more|arXiv (Cornell University)|Jun 15, 2016

Personal Information Management and User Behavior参考文献 21被引用数 140

ひとこと要約

この論文は、Smart Reply をエンドツーエンドのシステムとして提示します。LSTMsを用いた短く多様なメール返信を生成し、返信の半教師付き意味クラスタリングと本番環境でのスケーラビリティとプライバシーを確保するトリガリングモジュールを組み合わせます。

ABSTRACT

In this paper we propose and investigate a novel end-to-end method for automatically generating short email responses, called Smart Reply. It generates semantically diverse suggestions that can be used as complete email responses with just one tap on mobile. The system is currently used in Inbox by Gmail and is responsible for assisting with 10% of all mobile responses. It is designed to work at very high throughput and process hundreds of millions of messages daily. The system exploits state-of-the-art, large-scale deep learning. We describe the architecture of the system as well as the challenges that we faced while building it, like response diversity and scalability. We also introduce a new method for semantic clustering of user-generated content that requires only a modest amount of explicitly labeled data.

研究の動機と目的

• 短いモバイルメール返信でユーザーを支援するという課題を動機づけ、対処する。
• 高品質で多様かつスケーラブルな返信提案を生成するエンドツーエンドのシステムを開発する。
• データを集約し、内容の検査を限定的に行うことでプライバシーを確保する。
• 本番環境のレイテンシ制約を満たしつつ、応答品質と有用性・多様性のバランスを取る。

提案手法

• 着信メールに対して、シーケンス・ツー・シーケンスの LSTM モデルを用いて、推定される返信のスコアを算出する。
• 半教師付きグラフ学習を通じてオフラインで制約つきの返信集合 R を生成し、高品質と適切な多様性を確保する。
• R から異なる意味的意図を共有する冗長でない返信を選択することで多様性を強制する。
• 任意の返信を表示するかどうかを決定するトリガーモデル（フォワードネットワーク）を導入し、不要な計算を減らす。
• R 上のスケーラブルな検索を、Trie に整理してビームサーチを O(b l) の複雑さで実行するよう実装する。ここで b はビームサイズ、l は最大返信長。
• 過度に一般的な返信を抑制するための正規化を適用し、適切な場合には肯定・否定の選択肢を強制する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのシステムは、モバイル環境で有用な短く完結したメール返信を生成できるか？
• RQ2 大規模な返信空間の中で高品質で多様な返信オプションを、スケーラビリティを維持しつつどう確保できるか？
• RQ3 トリガリング、多様性制約などのどの仕組みが最終ユーザーの有用性と本番運用の効率を向上させるか？
• RQ4 ユーザー生成コンテンツの半教師付きクラスタリングは、返信の意味的意図を定義する上でどの程度効果的か？

主な発見

• Smart Reply は Inbox のモバイルメール返信の約 10% を占める。
• トリガーモデルは約 11% のメッセージをフィルタリングして不必要なスコアリングを回避する。
• LSTM ベースのスコアラーと制約付き返信空間は、一貫性がありもっともらしい短い返信を生み出す。
• Trie 上のビームサーチは、ビームサイズ 128 の場合、一部ケースで全探索スコアリングとほぼ等しい上位返信を実現するスケーラブルな検索を可能にする（約 99%）。
• 多様性と意図ベースのクラスタリングは、未加工のモデル出力より有用性を改善し、一般的すぎる返信を減らし、バリエーションを増やす。
• 半教師付き Expander ベースのグラフ学習は、返信意図の解釈可能な意味クラスタを生み出す。