[論文レビュー] Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation

Ryuichi Takanobu, Qi Zhu+4 more|arXiv (Cornell University)|May 15, 2020

Speech and dialogue systems参考文献 44被引用数 6

ひとこと要約

本論文は、MultiWOZコーパスを用いて、パイプライン、ジョイント、エンドツーエンドアーキテクチャを比較する目的で、ゴール指向対話システムのシステム単位での評価を実施している。パイプラインシステムが細分化された監視信号を用いることで、ジョイントおよびエンドツーエンドモデルを上回り、コンponent単位の指標はしばしば誤解を招き、シミュレーテッド評価は人間評価と中程度の相関を示し、初期開発段階での利用を支持する。

ABSTRACT

There is a growing interest in developing goal-oriented dialog systems which serve users in accomplishing complex tasks through multi-turn conversations. Although many methods are devised to evaluate and improve the performance of individual dialog components, there is a lack of comprehensive empirical study on how different components contribute to the overall performance of a dialog system. In this paper, we perform a system-wise evaluation and present an empirical analysis on different types of dialog systems which are composed of different modules in different settings. Our results show that (1) a pipeline dialog system trained using fine-grained supervision signals at different component levels often obtains better performance than the systems that use joint or end-to-end models trained on coarse-grained labels, (2) component-wise, single-turn evaluation results are not always consistent with the overall performance of a dialog system, and (3) despite the discrepancy between simulators and human users, simulated evaluation is still a valid alternative to the costly human evaluation especially in the early stage of development.

研究の動機と目的

• ゴール指向対話システムにおける異なるアーキテクチャ（パイプライン、ジョイント、エンドツーエンド）の実世界のタスク遂行シナリオにおける性能を調査すること。
• コンponent単位の単一ターン評価指標と全体的なシステム単位のマルチターン性能との一貫性を評価すること。
• さまざまなタスクの複雑さを想定した条件下で、シミュレーテッドユーザー評価の有効性を人間評価と比較して評価すること。
• コンponentレベルでの性能向上が、マルチターン対話におけるシステムレベルの成功にどのように反映されるかを特定すること。

提案手法

• ConvLabプラットフォームを用いて、MultiWOZ 2.1コーパス上で標準化された対話システム設定を用いて、システム単位の評価を実施した。
• NLU、DST、ポリシー、NLGの各コンponentレベルで細分化された監視信号を用いて、パイプライン、ジョイント、エンドツーエンドモデルを訓練および評価した。
• タスク成功確率および対話品質を測定するために、シミュレーテッドユーザーインタラクションと人間評価の両方を用いた。
• ジョイントゴール精度、タスク成功確率、単一およびマルチドメインタスクにおけるシステムレベルの成功といった標準化された指標を用いた。
• 統計的測定を用いて、シミュレーテッド評価と人間評価の結果の相関を分析した。
• タスクの複雑さの増加に伴うシステムのロバストネスを、単一ドメインからマルチドメインのシナリオへと評価した。

実験結果

リサーチクエスチョン

• RQ1 どのシステム設定（パイプライン、ジョイント、エンドツーエンド）がゴール指向対話システムにおいてより優れた全体的性能を示すか？
• RQ2 コンponent単位の単一ターン評価結果は、システム単位のマルチターン評価結果と一貫しているか？
• RQ3 タスクの複雑さが増加するに従って（単一ドメインからマルチドメインへ）、システムの性能はどのように変化するか？
• RQ4 シミュレーテッド評価は、人間評価とどれほど相関しており、実際のシステム性能を予測するのに有効か？

主な発見

• 各コンponentレベルで細分化された監視信号を用いて訓練されたパイプラインシステムは、全体のタスク成功確率において、ジョイントおよびエンドツーエンドモデルを一貫して上回った。
• コンponent単位の単一ターン指標は、システム単位のマルチターン性能と一貫性がなく、高いコンponent精度がシステムレベルの成功を保証するわけではないことを示した。
• すべてのアーキテクチャにおいて、タスクの複雑さが増加するに従い、特にマルチドメイン設定において性能が著しく低下した。
• シミュレーテッド評価は人間評価と中程度の相関を示し、人間の性能をやや過大評価する傾向があるものの、初期開発段階では有効な代替手段であると考えられる。
• シミュレーターと人間ユーザーとの間の乖離は、目標の変更や多様な応答を処理できるより現実的なユーザー・シミュレーターの開発の必要性を示している。
• エンドツーエンドおよびジョイントモデルでは、不確実性下での計画立案および意図追跡の限界を示し、複雑な対話に対しては著しくロバストネスが低いことが判明した。