[論文レビュー] Diversifying Reply Suggestions using a Matching-Conditional Variational Autoencoder

Budhaditya Deb, Peter Bailey+1 more|arXiv (Cornell University)|Mar 25, 2019

Topic Modeling参考文献 19被引用数 9

ひとこと要約

本論文では、メッセージの埋め込みと確率的潜在変数に条件づけて応答候補を生成することで、プロダクション環境のインスタントメッセージングシステムにおける応答提案の多様性を高める、マッチング条件付き変分オートエンコーダー（M-CVAE）を提案する。制約付きサンプリングを導入することで効率的な推論を実現し、関連性を損なわず30–40%の応答多様性向上を達成した。これにより、SkypeにおけるオンラインA/Bテストでクリックストラックレートが5%向上した。

ABSTRACT

We consider the problem of diversifying automated reply suggestions for a commercial instant-messaging (IM) system (Skype). Our conversation model is a standard matching based information retrieval architecture, which consists of two parallel encoders to project messages and replies into a common feature representation. During inference, we select replies from a fixed response set using nearest neighbors in the feature space. To diversify responses, we formulate the model as a generative latent variable model with Conditional Variational Auto-Encoder (M-CVAE). We propose a constrained-sampling approach to make the variational inference in M-CVAE efficient for our production system. In offline experiments, M-CVAE consistently increased diversity by ~30-40% without significant impact on relevance. This translated to a 5% gain in click-rate in our online production system.

研究の動機と目的

• 商業的IMシステムにおける自動応答提案の意味的多様性の欠如に取り組むこと。
• マッチングベースの情報検索アーキテクチャの効率性と関連性を維持したまま、応答の多様性を導入すること。
• 生産環境における生成モデルのスケーラブルで低遅延な推論を可能にすること。
• 応答提案の意味的多様性の向上が、クリックストラックレートという指標で測定されたユーザー参加度を高めることを検証すること。
• 潜在変数モデリングが、1つのメッセージ-応答ペairから多様な会話的意図を効果的に捉え、生成できることを示すこと。

提案手法

• マッチングベースの応答検索システムを、潜在的会話的意図をモデル化するための確率的潜在変数を導入した条件付き変分オートエンコーダー（CVAE）として定式化する。
• 双方向LSTMエンコーダーを用いてメッセージと応答を共通のベクトル空間に埋め込み、対称的損失を用いて一括最適化を実行する。
• 変分推論を用いてM-CVAEモデルを学習し、入力メッセージとサンプリングされた潜在コードに条件づけて多様な応答ベクトルを生成可能にする。
• 推論中に潜在変数のサンプル数を制限する制約付きサンプリング戦略を導入し、生産システムに適した低遅延性を確保する。
• 複数のサンプルされた応答を投票して候補をランク付けすることで、多様性を向上させつつ関連性を保持する。
• 応答ベクトルを事前に計算・キャッシュすることで、元のマッチングIRフレームワークの効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数モデリングがマッチングベースの検索システムに効果的に統合可能か？
• RQ2 CVAEフレームワークによる確率的要因の導入が、関連性の低下を伴わずに応答提案の意味的多様性を向上させるか？
• RQ3 制約付きサンプリングにより、変分推論が高スループットシステムにおけるリアルタイム生産利用に十分にスケーラブルかつ効率的になれるか？
• RQ4 応答の多様性の向上が、クリックストラックレートという指標で測定されたユーザー参加度の向上に寄与するか？
• RQ5 M-CVAEモデルは、IMやメールを含むさまざまな会話的ドメインに一般化可能か？

主な発見

• M-CVAEは、内在的多様性指標で測定したオフライン評価において、応答多様性を約30–40%向上させた。
• モデルは高い関連性を維持しており、検索性能や関連性指標に顕著な低下は認めなかった。
• SkypeにおけるオンラインA/Bテストでは、M-CVAEはベースラインのマッチングモデルと比較して5%高いクリックストラックレートを達成した。
• クリックストラックレートの向上は、主に2番目および3番目の応答位置でのパフォーマンス向上に起因しており、多様な意図のカバレッジが向上したことを示している。
• 制約付きサンプリング戦略により、生成モデルであるCVAEの性質にもかかわらず低遅延推論が実現され、生産環境へのデプロイが可能になった。
• モデルはSkypeの100%のユーザーに正常にデプロイされ、Outlook Web Appでも同様の向上が観察された。これは、さまざまな会話的ドメインに強く一般化できることを示している。