[論文レビュー] A Response Retrieval Approach for Dialogue Using a Multi-Attentive Transformer

Matteo Antonio Senese, Alberto Benincasa+2 more|arXiv (Cornell University)|Dec 15, 2020

Topic Modeling被引用数 4

ひとこと要約

本稿では、ユーザーの要請と参照された製品を条件として、目的志向型でマルチモodalな対話システムにおける応答検索のためのマルチアテンション・トランスフォーマー・モデルを提案する。モデルは、SIMMC Fashionデータセットにおいて、すべての検索指標（MRR、R@1、R@5、R@10、Mean Rank）で2番目の性能を達成し、意味スコア統合により、R@10で最大43.9%、MRRで最大27.7%の性能向上を達成した。

ABSTRACT

This paper presents our work for the ninth edition of the Dialogue System Technology Challenge (DSTC9). Our solution addresses the track number four: Simulated Interactive MultiModal Conversations. The task consists in providing an algorithm able to simulate a shopping assistant that supports the user with his/her requests. We address the task of response retrieval, that is the task of retrieving the most appropriate agent response from a pool of response candidates. Our approach makes use of a neural architecture based on transformer with a multi-attentive structure that conditions the response of the agent on the request made by the user and on the product the user is referring to. Final experiments on the SIMMC Fashion Dataset show that our approach achieves the second best scores on all the retrieval metrics defined by the organizers. The source code is available at https://github.com/D2KLab/dstc9-SIMMC.

研究の動機と目的

• ショッピングアシスタントのシナリオにおける状況的でマルチモーダルな対話のための応答検索システムを開発すること。
• カタログからの特定の製品属性とユーザーの要請の両方に応答を根拠づける課題に対処すること。
• ユーザーの要請、参照された製品、および応答候補という複数の文脈的入力を条件としてモデルを設定することで、検索性能を向上させること。
• SIMMC Fashionデータセット、インタラクティブでマルチモーダルかつ目的志向型の対話のベンチマーク上でモデルを評価すること。
• マルチアテンション機構が応答の関連性と検索精度を向上させる有効性を示すこと。

提案手法

• ユーザーの要請と製品属性をエンコードするために、パラメータを凍結したBERTベースのエンコーダーを使用する。
• 1層のトランスフォーマー・デコーダーを採用し、3つの並列アテンションヘッドを備える：生成されたトークン上の自己アテンション、ユーザーの要請上のクロスアテンション、および参照された製品上のクロスアテンション。
• デコーダーはユーザーの要請と製品埋め込みに注目することで、関連する文脈に基づいて応答生成を条件づける。
• 候補となる応答とユーザーの要請および製品属性を比較することで意味スコアを計算し、検索精度を向上させる。
• 最終的な応答スコアは、デコーダーのクロスアテンションスコアと意味スコアの重み付き和として計算される。
• 正例応答の順位を最大化するように、対照学習の目的関数を用いて、SIMMC Fashionデータセット上でエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 マルチアテンション・トランスフォーマー・アーキテクチャは、マルチモーダルで目的志向型の対話設定において、最も適切な応答を効果的に検索できるか？
• RQ2 ユーザーの要請と参照された製品の両方に応答検索を条件づけることで、検索性能がどのように向上するか？
• RQ3 要請と製品の埋め込みに基づく意味スコアの統合が、検索指標に与える影響は何か？
• RQ4 本稿で提案するモデルは、SIMMC Fashionベンチマークにおいて、強力なベースラインおよび最先端手法と比較してどうなるか？
• RQ5 マルチアテンション機構は、文脈の根拠づけと応答の関連性をどの程度向上させるか？

主な発見

• 公式の test-std スプリットにおいて、モデルはMRRが0.390という2番目の成績を達成し、ベースラインより27.7%の向上を示した。
• test-stdセットにおいて、R@1は26.7%に達し、ベースラインより22.2%の改善を示した。
• test-dev スプリットにおいて、意味スコアを統合したモデルはMRRが0.419に達し、それなしのバージョンより2.1%の向上を示した。
• test-dev ではR@5が55.9%、test-std では52.1%を達成し、ベースラインを著しく上回った。
• test-dev において、Mean Rankはベースラインの27.4から本モデルの13.6に改善され、正解応答の平均順位が顕著に低下した。
• 両方のテストスプリットにおいて、MRR、R@1、R@5、R@10、Mean Rankという5つの評価指標すべてで、本モデルは2番目の全体的成績を達成した。