[論文レビュー] Knowledge-incorporating ESIM models for Response Selection in Retrieval-based Dialog Systems

Jatin Ganhotra, Siva Sankalp Patel+1 more|arXiv (Cornell University)|Jul 11, 2019

Topic Modeling参考文献 24被引用数 5

ひとこと要約

本稿では、外部知識（K-ESIM）と類似した対話文脈（T-ESIM）を統合することで、検索ベース対話システムにおける応答選択のためのESIMモデルの拡張版であるK-ESIMおよびT-ESIMを提案する。UbuntuデータセットにおいてT-ESIMは64.3 R@1を達成し、ベースラインのESIMよりも顕著に優れており、外部知識統合と文脈類似性の活用が応答選択の正確性を向上させることを示している。

ABSTRACT

Goal-oriented dialog systems, which can be trained end-to-end without manually encoding domain-specific features, show tremendous promise in the customer support use-case e.g. flight booking, hotel reservation, technical support, student advising etc. These dialog systems must learn to interact with external domain knowledge to achieve the desired goal e.g. recommending courses to a student, booking a table at a restaurant etc. This paper presents extended Enhanced Sequential Inference Model (ESIM) models: a) K-ESIM (Knowledge-ESIM), which incorporates the external domain knowledge and b) T-ESIM (Targeted-ESIM), which leverages information from similar conversations to improve the prediction accuracy. Our proposed models and the baseline ESIM model are evaluated on the Ubuntu and Advising datasets in the Sentence Selection track of the latest Dialog System Technology Challenge (DSTC7), where the goal is to find the correct next utterance, given a partial conversation, from a set of candidates. Our preliminary results suggest that incorporating external knowledge sources and leveraging information from similar dialogs leads to performance improvements for predicting the next utterance.

研究の動機と目的

• 外部ドメイン知識を統合することで、検索ベース対話システムにおける応答選択の性能を向上させること。
• トレーニング中に過去の類似対話から得られる情報を活用することで、予測精度を向上させること。
• 実世界の対話ベンチマークでベースラインESIMを上回るエンドツーエンドで学習可能なモデルを開発すること。
• ゼロショット選択や知識拡張型応答ランク付けを含む多様なサブタスクにおけるモデル性能を評価すること。
• 知識表現の質と候補削減技術がモデルの一般化性能に与える影響を調査すること。

提案手法

• K-ESIMは、ESIMアーキテクチャを拡張し、外部の非構造的知識（例：Linux man ページ）を知識テキスト上のアテンション機構を介して統合する。
• T-ESIMは、推論時に類似した対話履歴を検索・アテンションするターゲットドリブンのアテンション機構を導入し、文脈モデリングを改善する。
• モデルは、文脈および候補の符号化にBiLSTM層を用いるデュアルエンコーディングアーキテクチャを採用し、相互作用モデリングを伴うマッチング層を設ける。
• 単語表現は、事前学習済みのGloVe、word2vec、および文字レベルの埋め込みを用い、DSTC7データセットで微調整する。
• 最終分類には、ReLU活性化関数を用いた2層のフィードフォワードネットワークとシグモイド出力を用い、バイナリクロスエントロピー損失で学習する。
• 評価時に候補削減（CR）を適用し、トレーニングおよび検証データからの重複を削除することで、一般化性能と公平性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部の非構造的知識を統合することで、検索ベース対話システムにおける応答選択性能が向上するか？
• RQ2 過去の類似対話から得られる情報を活用することで、モデルが正しい次回発話の予測能力が向上するか？
• RQ3 K-ESIMおよびT-ESIMは、DSTC7文書選択トラックの複数のサブタスクにおいて、ベースラインESIMと比較してどのように異なるか？
• RQ4 外部知識がスパースまたは poorly structured な場合、知識表現の質がモデル性能に与える影響は何か？
• RQ5 候補削減およびIRベースの候補短縮が、モデル評価の安定性と性能を向上させられるか？

主な発見

• Ubuntuデータセットでは、T-ESIMがサブタスク1で64.3 R@1を達成し、ベースラインESIMの50.1 R@1を顕著に上回った。
• K-ESIMはUbuntuサブタスク5の検証セットで、ESIMの43.76 R@1および0.5324 MRRと比較して、44.82 R@1および0.5452 MRRを達成し、性能が向上した。
• T-ESIM-SampledおよびT-ESIM-CRの変種が、Ubuntuサブタスク1で最高の性能を示し、64.3 R@1を達成した。これは、候補サンプリングおよび削減の有効性を示している。
• Advisingデータセットでは、K-ESIMがサブタスク5でベースラインESIMを下回った。これは、現在の知識表現がコース情報には適していない可能性を示唆している。
• モデルはサブタスク1およびサブタスク4で一貫した改善を示し、候補セット内に正しい応答が存在しない場合の検出能力の高さを示している。
• 知識取得にTF-IDFを用いることは効果的であるが、将来的にはニューラルリtrieval手法の検討により、さらなる性能向上が期待できる。