[論文レビュー] Efficient Natural Language Response Suggestion for Smart Reply

Matthew Henderson, Rami Al‐Rfou+7 more|arXiv (Cornell University)|May 1, 2017

Topic Modeling参考文献 28被引用数 220

ひとこと要約

本論文は、n-gram埋め込みと階層的量子化を用いた高速のフィードフォワードモデルを提案し、Seq2Seqを品質で上回りつつ計算コストとレイテンシを大幅に削減してスマートリプライ候補をスコアリング・ランク付けします。

ABSTRACT

This paper presents a computationally efficient machine-learned method for natural language response suggestion. Feed-forward neural networks using n-gram embedding features encode messages into vectors which are optimized to give message-response pairs a high dot-product value. An optimized search finds response suggestions. The method is evaluated in a large-scale commercial e-mail application, Inbox by Gmail. Compared to a sequence-to-sequence approach, the new system achieves the same quality at a small fraction of the computational requirements and latency.

研究の動機と目的

• 実世界のメールアプリでスマートリプライの応答提案の計算コストとレイテンシを削減する。
• 入力と応答のモデリングに再帰を伴わないフィードフォワード型を検討する。
• 多数の固定候補応答セットから迅速でスケーラブルな検索を実現する。
• 複数の特徴量とバイアス補正を活用して応答品質を向上させる。
• 本番のGmail Inbox Smart Reply設定でエンドツーエンドの改善を実証する。

提案手法

• 入力メールと応答を、n-gram埋め込みの和として固定次元の特徴量（bag of n-grams）で表現する。
• 入力xと候補yに対してS(x,y)を割り当てるニューラルスコアリングモデルを、結合（joint）および内積（dot-product）アーキテクチャで学習する。
• S(x,y)=hx^T hy の内積因子分解を用いて応答ベクトルを事前計算し、効率的なMIPS風検索を可能にする。
• 複数のネガティブをバッチで用いて P(y|x) を近似し、負対数尤度目的関数（Eq. 5）を最適化する。
• 異なる入力シグナルを用いたマルチロスアーキテクチャで複数の特徴を取り入れ、スコアリングを改善する。
• 応答に対して言語モデルベースの項α log PLM(y)を用いた応答バイアスを組み込み、一般的な応答を促す。
• ベクトル量子化と積量子化を学習回転と組み合わせた階層的量子化（HQ）を適用し、応答上の高速近似検索を実現する。

実験結果

リサーチクエスチョン

• RQ1 n-gram埋込を用いた非再帰型のフィードフォワードモデルは、応答提案の品質でSeq2Seqを再現または超えることができるか。
• RQ2 応答選択における結合スコアリングと内積スコアリングアーキテクチャの性能トレードオフはどうなるか。
• RQ3 複数の特徴量とネガティブサンプリング戦略はランキング精度にどう影響するか。
• RQ4 階層的量子化はトップ応答の高速・高リコール取得にどれだけ効果があるか。
• RQ5 実運用のスマートリプライシステムでオンラインのパフォーマンス向上（転換率、レイテンシ）はどの程度得られるか。

主な発見

System/Experiment	Experiment	Conversion relative to Seq2Seq	Latency relative to Seq2Seq
Exhaustive search	Score all responses with joint model	–	500%
Two pass	Dot-product then joint scoring	67%	10%
Include response bias	Add language-model bias term	88%	10%
Improve sampling and multi-loss	Dataset improvements with multi-loss	104%	10%
Single pass	Remove second pass with enhanced dot-product model	104%	2%
Hierarchical quantization	Fast search with HQ over responses	104%	1%

• 内積（埋め込みベース）のモデルは、結合モデルと比べてほぼ同等または上回る精度を、より効率的に学習できる。
• 候補100件のテストセットで、結合モデルのP@1は49%、内積モデルは48%（バッチ25）または52%（バッチ50）である。
• オンラインシステムの反復により、同等または改善された転換率と大幅なレイテンシ削減を実現：2段階手法で10%のレイテンシで67%の転換、単段階で強化ネガティブとマルチロス特徴を用いSeq2Seq比で2%のレイテンシで104%の転換、階層的量子化でさらなる速度向上を達成し品質の低下なし。
• 言語モデル項を用いた応答バイアスの組み込みは提案の品質を向上させる（表3の行3）。
• より大きなネガティブバッチとマルチロスアーキテクチャを用いた学習は、オンライン実験で Seq2Seq のベースラインより性能を向上させる（行4）。
• 最終の単一パスシステムは、ドットプロダクトスコアリングと階層検索を用いて、計算量を大幅に削減しつつ同等またはそれ以上の品質を達成する（行5および行6）。