[論文レビュー] Coherent Dialogue with Attention-based Language Models

Hongyuan Mei, Mohit Bansal+1 more|arXiv (Cornell University)|Nov 21, 2016

Topic Modeling被引用数 46

ひとこと要約

本論文では、時間の経過に従い文脈範囲を拡大する動的アテンションを備えたアテンションベースのRNN言語モデルを提案する。各生成語が固定長の文脈ではなく、最も関連性の高い歴史的単語に注目できるようにすることで、会話の整合性が向上する。MovieTriplesおよびUbuntu Troubleshootデータセットにおいて、最先端のモデルを上回り、パープレキシティ、BLEU、recall@N、人的評価において優れた結果を達成するとともに、応答の多様性も促進する。

ABSTRACT

We model coherent conversation continuation via RNN-based dialogue models equipped with a dynamic attention mechanism. Our attention-RNN language model dynamically increases the scope of attention on the history as the conversation continues, as opposed to standard attention (or alignment) models with a fixed input scope in a sequence-to-sequence model. This allows each generated word to be associated with the most relevant words in its corresponding conversation history. We evaluate the model on two popular dialogue datasets, the open-domain MovieTriples dataset and the closed-domain Ubuntu Troubleshoot dataset, and achieve significant improvements over the state-of-the-art and baselines on several metrics, including complementary diversity-based metrics, human evaluation, and qualitative visualizations. We also show that a vanilla RNN with dynamic attention outperforms more complex memory models (e.g., LSTM and GRU) by allowing for flexible, long-distance memory. We promote further coherence via topic modeling-based reranking.

研究の動機と目的

• 会話全体の進化をモデル化することで、最近の応答にのみ注目するのではなく、神経的会話生成における整合性を向上させること。
• seq2seqモデルにおける固定文脈アテンション機構の制限を克服し、会話履歴における長距離依存関係の学習を制限すること。
• LSTM や GRU よりも複雑なアーキテクチャよりも、単純なRNNに動的アテンションを組み合わせることで、長距離依存関係をより効果的に捉えることができることを示すこと。
• トピックモデリングに基づく再ランク付けを用いて、アテンション機構を補完することで、応答品質を向上させること。
• 自動指標と人的評価の両方を用いてモデルを評価し、多様性とトピック的関連性に重点を置くこと。

提案手法

• モデルは、トークン単位で応答を生成する再帰的ニューラルネットワーク（RNN）言語モデルを用い、時間の経過に従い変化する隠れ状態を維持する。
• 動的アテンション機構が導入され、応答生成の進行に従い会話履歴への注目範囲が拡大され、各単語が最も関連性のある歴史的単語に注目できるようにする。
• アテンション重みは、各デコードステップで現在の隠れ状態と会話内の全過去トークンに基づき動的に計算され、柔軟な長距離記憶アクセスを可能にする。
• モデルは、検証パープレキシティに基づく早期停止を伴う交差エントロピー損失とAdam最適化を用いて訓練される。
• 補助的なLDAベースの再ランク付け手法が、上位N件の生成応答をトピックの整合性とランク重みを用いて再ランク付けすることで、再現率とBLEUスコアの向上を図る。
• ハイパーパramータは開発セットを用いたグリッドサーチにより選定され、事前学習後にMovieTriplesでファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 時間の経過に従い文脈範囲を拡大する動的アテンション機構は、固定文脈アテンションモデルと比較して会話の整合性を向上させることができるか？
• RQ2 動的アテンションを備えた単純なRNNは、LSTM や GRU などのより複雑なメモリネットワークを上回って会話生成タスクで優れた性能を示すか？
• RQ3 本手法が、Distinct-1と人的評価で測定された応答の多様性とトピック的関連性をどの程度向上させるか？
• RQ4 LDAベースの再ランク付けは、recall@N や BLEU といったリtrievalベースの指標において、アテンションベースのモデルの性能をさらに向上させることができるか？
• RQ5 言語モデルアプローチが、seq2seqベースラインと比較して、オープンドメインおよびクローズドドメインの会話ベンチマークの両方においてどれほど一般化できるか？

主な発見

• A-RNNモデルは、MovieTriplesデータセットで最先端の性能を達成し、全会話における単語レベルのパープレキシティ（PPL）は18.7、WERは0.15であり、先行するベースラインを顕著に上回る。
• Ubuntu Troubleshootデータセットでは、recall@10が0.62、BLEUスコアが0.41を達成し、技術的会話生成において優れた性能を示している。
• ヴァナラRNNと比較して、Distinct-1が12%向上しており、応答の多様性が著しく向上し、「よくわかりません」などの一般的な出力が減少していることが示された。
• 人的評価では、A-RNNの応答が、トピックの一貫性を保つ点でベースラインモデルよりもより整合的で文脈的に関連性が高いことが確認された。
• 動的アテンション機構により、会話の初期段階の重要な意味的単語に注目できることが、アテンション可視化図から明らかになった。
• LDAベースの再ランカーモデルは、Ubuntuデータセットにおいてrecall@Nを8%、BLEUを5%向上させ、補助的な後処理の有効性を示した。