[論文レビュー] Sequential Attention-based Network for Noetic End-to-End Response Selection

Qian Chen, Wen Wang|arXiv (Cornell University)|Jan 9, 2019

Topic Modeling参考文献 26被引用数 29

ひとこと要約

本論文は、エンドツーエンドのマルチターン応答選択を目的として、強化逐次推論モデル（ESIM）に基づく逐次マッチングモデルを提案する。このタスクは、文脈発話を連結して1つのシーケンスとして扱うことで文対分類問題に定式化される。本手法は、すべての先行の階層型モデルを上回り、UbuntuおよびEコマースのベンチマークの両方で新たなSOTA結果を達成した。UbuntuではR@1が最大79.6%、EコマースではR@1が最大57.0%の向上を達成した。

ABSTRACT

The noetic end-to-end response selection challenge as one track in Dialog System Technology Challenges 7 (DSTC7) aims to push the state of the art of utterance classification for real world goal-oriented dialog systems, for which participants need to select the correct next utterances from a set of candidates for the multi-turn context. This paper describes our systems that are ranked the top on both datasets under this challenge, one focused and small (Advising) and the other more diverse and large (Ubuntu). Previous state-of-the-art models use hierarchy-based (utterance-level and token-level) neural networks to explicitly model the interactions among different turns' utterances for context modeling. In this paper, we investigate a sequential matching model based only on chain sequence for multi-turn response selection. Our results demonstrate that the potentials of sequential matching approaches have not yet been fully exploited in the past for multi-turn response selection. In addition to ranking the top in the challenge, the proposed model outperforms all previous models, including state-of-the-art hierarchy-based models, and achieves new state-of-the-art performances on two large-scale public multi-turn response selection benchmark datasets.

研究の動機と目的

• ゴール指向対話システムにおけるマルチターン応答選択のためのより効率的で効果的なアプローチの開発。
• 逐次マッチングモデルが応答選択タスクにおいて、複雑な階層型モデルを上回れるかどうかの調査。
• 固定長の切り捨てによる過剰なゼロパディングや高い計算コストといった、階層型モデルの限界の解消。
• 文脈-応答相互作用の暗黙的でシーケンスレベルのモデリングが、発話およびトークンレベルの相互作用を明示的にモデル化する階層型モデリングを上回ることの証明。
• 公開ベンチマークでSOTAのパフォーマンスを達成し、DSTC7ノエティックエンドツーエンド応答選択チャレンジで優勝すること。

提案手法

• モデルはマルチターン応答選択を二値分類タスクに変換する。具体的には、候補となる応答が連結された文脈シーケンスの正しい次の発話かどうかを判定する。
• ESIMアーキテクチャを採用し、入力符号化、クロスアテンションを用いたローカルマッチング、および双方向LSTM層によるマッチング組み合わせを含む。
• ローカルマッチングは、文脈トークンと応答トークン間のトークンレベルのアテンションを計算し、細分化された相互作用を捉える。
• マッチング組み合わせは、双方向LSTMを用いてローカルマッチ表現を集約し、グローバルな文脈-応答相互作用表現を生成する。
• 最終表現に対してソフトマックス分類を実行することで推論を行い、交差エントロピー損失を用いてエンドツーエンドで学習する。
• 複数のバリアント（例：文脈デコードの有無、逆順の文脈）を組み合わせたアンサンブル戦略を用いて、さらなるパフォーマンス向上を図る。

実験結果

リサーチクエスチョン

• RQ1 純粋に逐次的なマッチングモデルは、SOTAの階層型モデルをマルチターン応答選択タスクで上回れるか？
• RQ2 シーケンスレベルのアテンションによる文脈-応答相互作用の暗黙的モデリングは、発話およびトークンレベルの相互作用を明示的にモデル化する階層型モデリングを上回れるか？
• RQ3 本手法は、階層型モデルと比較して、計算コストおよびゼロパディングのオーバーヘッドをどの程度削減できるか？
• RQ4 外部知識やノイズの多い候補プールを含む多様なベンチマークにおいて、モデルの性能はいかがなっているか？
• RQ5 UbuntuやEコマースといった異なる対話ドメインにおいて、モデルは効果的に一般化できるか？

主な発見

• ESIMベースの逐次モデルは、DSTC7ノエティックエンドツーエンド応答選択チャレンジにおいて、アドバイジングおよびUbuntuデータセットでトップランクを達成した。
• Lowe’s Ubuntuベンチマークでは、R@1が79.6%、R@2が89.4%、R@5が97.5%を達成し、以前のSOTA（DAMモデル）をそれぞれ2.9%、2.0%、0.6%上回った。
• Eコマースベンチマークでは、R@1が57.0%、R@2が76.7%、R@5が94.8%を達成し、以前のSOTA（DUAモデル）をそれぞれ6.9%、6.7%、2.7%上回った。
• アブレーションスタディの結果、ローカルマッチングおよびマッチング組み合わせの両コンponentが不可欠であることが確認され、それらを除去すると性能が著しく低下した。
• ESIMモデルの複数のバリアント（例：文脈デコードの有無、逆順の文脈）をアンサンブル化することで一貫した向上が得られ、Ubuntuサブタスク4ではR@10が0.909、MRRが0.6771を達成した。
• 外部知識（例：Linuxマニュアルページ）を組み込んでも性能向上は最小限にとどまり、強力な内在的モデリング能力を示した。