[論文レビュー] Hierarchical Recurrent Attention Network for Response Generation

Xing Chen, Wei Wu+4 more|arXiv (Cornell University)|Jan 25, 2017

Topic Modeling被引用数 116

ひとこと要約

HRAN は多ターン応答生成のための階層的な単語レベルおよび発話レベルの注意機構を導入し、困惑度と人間の評価で S2SA、HRED、VHRED を上回る。

ABSTRACT

We study multi-turn response generation in chatbots where a response is generated according to a conversation context. Existing work has modeled the hierarchy of the context, but does not pay enough attention to the fact that words and utterances in the context are differentially important. As a result, they may lose important information in context and generate irrelevant responses. We propose a hierarchical recurrent attention network (HRAN) to model both aspects in a unified framework. In HRAN, a hierarchical attention mechanism attends to important parts within and among utterances with word level attention and utterance level attention respectively. With the word level attention, hidden vectors of a word level encoder are synthesized as utterance vectors and fed to an utterance level encoder to construct hidden representations of the context. The hidden vectors of the context are then processed by the utterance level attention and formed as context vectors for decoding the response. Empirical studies on both automatic evaluation and human judgment show that HRAN can significantly outperform state-of-the-art models for multi-turn response generation.

研究の動機と目的

• 会話コンテキストを用いたオープンドメインの多ターン応答生成に取り組む。
• 発話内の語、発話列内の語順序の階層と、文脈要素の異なる重要性をモデル化する。
• 生成時に階層的注意を用いて重要な語と発話を選択することで、応答の関連性と一貫性を向上させる。
• 自動指標と人間の評価を通じて、最先端のベースラインに対する実証的な改善を示す。

提案手法

• 各発話を双方向GRUでエンコードして語レベルの隠れベクトルを生成する。
• デコーダ状態と発話文脈の両方に依存する語レベルの注意を計算して、発話ベクトルを形成する。
• 発話ベクトルの列を発話レベルのBRUでエンコードして文脈表現を生成する。
• 各デコーディングステップの文脈ベクトルへ要約するために、発話レベルの注意を適用する。
• 文脈ベクトルに条件付けられたGRUベースの言語モデルで応答をデコードし、生成にはビーム探索を用いる。
• 実際の応答の対数尤度を最大化することで訓練する。

実験結果

リサーチクエスチョン

• RQ1 階層的な語レベルおよび発話レベルの注意は、多ターン応答生成における関連性と一貫性を改善しますか？
• RQ2 文脈階層と部分レベルの重要性を結合してモデル化することは、既存の階層モデル（HRED、VHRED）および非階層的ベースラインに対して測定可能な改善をもたらしますか？
• RQ3 最新手法と比較して、HRAN は自動的な困惑度指標と人間の判断の両方でどのように性能を示しますか？
• RQ4 注意の視覚化は、生成に影響を与える語や発話についてどんな洞察を提供しますか？

主な発見

モデル	検証困惑度	テスト困惑度
S2SA	43.679	44.508
HRED	46.279	47.467
VHRED	44.548	45.484
HRAN	40.257	41.138

• HRAN は S2SA、HRED、VHRED と比較して、検証セットとテストセットの両方で最も低い困惑度を達成した。
• Validation perplexity: S2SA 43.679, HRED 46.279, VHRED 44.548, HRAN 40.257.
• Test perplexity: S2SA 44.508, HRED 47.467, VHRED 45.484, HRAN 41.138.
• HRAN はベースラインを人間の side-by-side judgments で上回る。
• アブレーション研究は、語レベルの注意と発話レベルの注意のそれぞれが性能向上に寄与することを示し、構成要素を除去すると結果が悪化する。
• 注意の視覚化は、HRAN が有益な語（例: “girl”, “boyfriend”, height numbers）や文脈内の主要な発話に焦点を当てることを示している。