[論文レビュー] Building Sequential Inference Models for End-to-End Response Selection

Jia-Chen Gu, Zhen-Hua Ling+2 more|arXiv (Cornell University)|Dec 3, 2018

Topic Modeling参考文献 16被引用数 6

ひとこと要約

本論文では、オープンドメイン対話における応答選択のための強化されたエンドツーエンド逐次推論モデルを提案する。元のESIMを改善するために、タスク固有の単語表現、注意メカニズムを備えた階層的再帰的エンコーダー、多次元および最終状態のプーリングを組み合わせた新規プーリング戦略、および最後の文脈発話に注目するための変更層を導入している。このモデルは、DSTC7のサブタスク1において、Ubuntuデータセットで2位、Advisingデータセットで3位を達成した。

ABSTRACT

This paper presents an end-to-end response selection model for Track 1 of the 7th Dialogue System Technology Challenges (DSTC7). This task focuses on selecting the correct next utterance from a set of candidates given a partial conversation. We propose an end-to-end neural network based on enhanced sequential inference model (ESIM) for this task. Our proposed model differs from the original ESIM model in the following four aspects. First, a new word representation method which combines the general pre-trained word embeddings with those estimated on the task-specific training set is adopted in order to address the challenge of out-of-vocabulary (OOV) words. Second, an attentive hierarchical recurrent encoder (AHRE) is designed which is capable to encode sentences hierarchically and generate more descriptive representations by aggregation. Third, a new pooling method which combines multi-dimensional pooling and last-state pooling is used instead of the simple combination of max pooling and average pooling in the original ESIM. Last, a modification layer is added before the softmax layer to emphasize the importance of the last utterance in the context for response selection. In the released evaluation results of DSTC7, our proposed method ranked second on the Ubuntu dataset and third on the Advising dataset in subtask 1 of Track 1.

研究の動機と目的

• エンドツーエンド学習を可能にするために、ESIMモデルの応答選択性能を向上させること。
• 事前学習済みとタスク固有の埋め込みを組み合わせたハイブリッド単語表現を用いて、未知語（OOV）の問題を軽減すること。
• 注意メカニズムを備えた階層的再帰的エンコーダー（AHRE）を用いて、より良い文脈モデリングを実現する文の表現を向上させること。
• 標準的なプーリングの代わりに、多次元および最終状態のプーリングを組み合わせた戦略を採用することで、文脈と応答の一致を向上させること。
• 最終的なソフトマックス層の直前に変更層を追加し、会話文脈における最も最近の発話を明示的に強調することで、その影響を高めること。

提案手法

• OOV問題の軽減を目的に、一般向けに事前学習された単語埋め込みと、タスク固有の訓練データで微調整された埋め込みを組み合わせたハイブリッド単語表現を採用する。
• 発話の階層的符号化を可能にするために、注意メカニズムを備えた階層的再帰的エンコーダー（AHRE）を設計し、スタックされた双方向LSTMを用いて、単語レベルおよび発話レベルの表現を同時に捉える。
• 異なる注意ヘッドにおける多次元プーリングと、エンコーダーの最終隠れ状態からの最終状態プーリングを組み合わせた新規プーリング機構を提案し、より豊かな文脈-応答一致特徴を生成する。
• 最終的なソフトマックス層の直前に変更層を追加し、スコアを再重み付けすることで、会話文脈における最も最近の発話の寄与を明示的に強調する。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、一般化性能を向上させるために、3つの独立に初期化されたモデルのアンサンブル平均を採用する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド単語表現戦略は、応答選択モデルにおけるOOV対処に効果を発揮するか？
• RQ2 注意メカニズムを備えた階層的再帰的エンコーダーは、会話文脈モデリングにおいて標準的なRNNよりも優れた文の表現を生成するか？
• RQ3 多次元プーリングと最終状態プーリングの組み合わせは、文脈-応答一致において標準的な最大プーリングと平均プーリングよりも効果的か？
• RQ4 会話文脈における最も最近の発話を明示的に強調することで、応答選択の性能が向上するか？
• RQ5 提案された各構成要素が、多様な会話ドメインにわたるモデルの一般化性能にどのように寄与するか？

主な発見

• 提案モデルは、DSTC7のサブタスク1において、Ubuntuデータセットで2位、Advisingデータセットで3位を達成し、他の18名の参加者を上回った。
• アブレーションスタディの結果、変更層を削除すると性能が著しく低下し、最後の発話に注目するためのその役割が裏付けられた。
• AHREを単一層のBiLSTMに置き換えた場合、性能が低下したため、階層的符号化の利点が明確に示された。
• 提案されたプーリング戦略は、元のESIMの最大プーリングと平均プーリングを上回った。これは、より優れた一致表現が得られたことを示している。
• 単語埋め込みを訓練中に固定した場合、性能が悪化した。これは、タスク固有の表現を微調整することで性能が向上することを示している。
• Ubuntuデータセットでは、テスト性能が開発セットの性能を上回った。これは、過学習が少ない良好な一般化性能を示している。