[論文レビュー] Improving Retrieval Modeling Using Cross Convolution Networks And Multi Frequency Word Embedding

Guozhen An, Mehrnoosh Shafiee+1 more|arXiv (Cornell University)|Feb 15, 2018

Topic Modeling参考文献 28被引用数 6

ひとこと要約

本稿では、マルチターン対話システムにおける応答選択の向上を目的として、クロス畳み込みネットワーク（CCN）とマルチ周波数ワード埋め込み（MFCW）を提案する。頻度の高い語とまれな語を別々に埋め込み、文脈と応答間の語レベルの類似性を捉えることで、Ubuntu 対話コーパスにおいて、アンサンブルモデルを用いて72.7%のrecall@1、85.8%のrecall@2、97.1%のrecall@5を達成し、新たなSOTAを樹立した。

ABSTRACT

To build a satisfying chatbot that has the ability of managing a goal-oriented multi-turn dialogue, accurate modeling of human conversation is crucial. In this paper we concentrate on the task of response selection for multi-turn human-computer conversation with a given context. Previous approaches show weakness in capturing information of rare keywords that appear in either or both context and correct response, and struggle with long input sequences. We propose Cross Convolution Network (CCN) and Multi Frequency word embedding to address both problems. We train several models using the Ubuntu Dialogue dataset which is the largest freely available multi-turn based dialogue corpus. We further build an ensemble model by averaging predictions of multiple models. We achieve a new state-of-the-art on this dataset with considerable improvements compared to previous best results.

研究の動機と目的

• マルチターン対話の応答選択において、RNNベースのモデルがまれなキーワードを捉えることや、長い入力シーケンスを処理することに課題を抱えるのを是正すること。
• 対話文脈と候補応答の間の意味的・文脈的関連性をより良くモデリングすること。
• 大規模かつ非構造的なマルチターン対話データセット、Ubuntu 対話コーパスにおけるパフォーマンスの向上を図ること。
• 応答ランク付けに向け、シーケンスレベルと語レベルの情報を効果的に統合する手法を開発すること。
• アンサンブルモデリングを用いて、検索ベースの対話システムにおける新たなSOTAベンチマークを確立すること。

提案手法

• 文脈と応答の語レベル表現間の類似性を計算するクロス畳み込みネットワーク（CCN）を提案し、細粒度な意味的マッチングを捉える。
• 頻度の高い語とまれな語に別々の埋め込み層を用いることで、低頻度・高信号語の意味情報を保持するマルチ周波数ワード埋め込み（MFCW）を導入する。
• CCNとLSTMを組み合わせ、文脈と応答における局所的な語レベルの類似性と、グローバルなシーケンスレベルの依存関係の両方をモデル化する。
• 共通語の頻度（CWF）層を統合し、文脈と応答の間で共通するまれな語の寄与度をスケーリングし、最終予測に反映させる。
• Ubuntu 対話コーパス v2 でモデルを学習し、一般化を向上させるために個々のモデルおよびアンサンブル推論戦略を用いる。
• 複数のアーキテクチャ（MFCW-LSTM および CCN-LSTM）の予測を平均化するアンサンブルモデルを採用し、パフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 頻度の高い語とまれな語を別々にモデリングする二重埋め込み戦略は、マルチターン対話における応答選択を改善できるか？
• RQ2 文脈と応答間の語レベル類似性を捉えることで、シーケンスレベルモデリングのみに比べて、検索パフォーマンスがどのように向上するか？
• RQ3 共通するまれな語の頻度を組み込むことで、応答選択のモデル精度はどの程度向上するか？
• RQ4 CCNとLSTMを組み合わせたハイブリッドアーキテクチャは、長く複雑な対話シーケンスにおいて、標準的なRNNベースのモデルを上回ることができるか？
• RQ5 複数の専門的モデルのアンサンブル学習は、Ubuntu 対話コーパスにおいて、個々のモデルに比べて顕著なパフォーマンス向上をもたらすか？

主な発見

• CCN-LSTMモデルは、recall@1が69.0%、recall@2が82.2%、recall@5が96.0%を達成し、デュアル-LSTMベースラインをすべての指標で約9%上回った。
• 共通語の頻度（CWF）層の追加により、CCN-LSTMモデルのパフォーマンスが向上し、まれな語の共起が正しい応答選択の強力なシグナルであることが示された。
• アンサンブルモデルは、72.7%のrecall@1、85.8%のrecall@2、97.1%のrecall@5を達成し、新たなSOTAを樹立した。これは、前回の最高結果よりそれぞれ0.1%、1.1%、0.9%向上した。
• MFCW-LSTMモデルは、デュアル-LSTMベースラインをrecall@1で9%上回り、まれな語と頻度の高い語の別々の埋め込みの有効性を示した。
• MFCWとCCNを1つのモデルに統合してもパフォーマンスが向上しなかったことから、両アプローチは補完的であり、別々に使用するのが最適であると示唆された。
• 結果から、まれな語のモデリングと語レベルの類似性が、オープンドメインでマルチターン対話における高精度な応答選択に不可欠であることが確認された。