[論文レビュー] Discourse-Wizard: Discovering Deep Discourse Structure in your Conversation with RNNs

Chandrakant Bothe, Sven Magg+2 more|arXiv (Cornell University)|Jun 29, 2018

Topic Modeling参考文献 22被引用数 6

ひとこと要約

本稿では、会話の発話行動を分類するために2つのRNNベースのモデル—発話レベルおよび文脈対応型—を用いるライブWebデモであるDiscourse-Wizardを紹介する。文脈に基づくモデルは、先行する発話を統合するために階層的RNNを活用しており、Switchboardコーパス上で定性的および定量的な比較によって、文脈に依存する会話構造を顕著に効果的に捉えている。

ABSTRACT

Spoken language understanding is one of the key factors in a dialogue system, and a context in a conversation plays an important role to understand the current utterance. In this work, we demonstrate the importance of context within the dialogue for neural network models through an online web interface live demo. We developed two different neural models: a model that does not use context and a context-based model. The no-context model classifies dialogue acts at an utterance-level whereas the context-based model takes some preceding utterances into account. We make these trained neural models available as a live demo called Discourse-Wizard using a modular server architecture. The live demo provides an easy to use interface for conversational analysis and for discovering deep discourse structures in a conversation.

研究の動機と目的

• ニューラルネットワークを用いて会話の文脈が発話行動認識に果たす重要な役割を示すこと。
• リアルタイム会話分析のためのモジュラでインタラクティブなWebインターフェースの開発およびデプロイ。
• 発話行動分類において、文脈に依存しないRNNモデルと、文脈対応の階層的RNNモデルの性能を比較すること。
• 研究者および実務家が会話構造の発見とモデル評価にアクセスしやすいツールを提供すること。
• スケーラブルなサーバーアーキテクチャを介して、複数の発話行動モデルの知識移行およびモジュラ連携を可能にすること。

提案手法

• 文脈なしモデルは、単方向LSTMを用い、学習中に学習される単語埋め込みに基づいて個々の発話を基に発話行動を分類する。
• 文脈ありモデルは、複数の先行発話を処理する階層的RNN（HRNN）を採用し、発話レベルの文脈を捉えるために、文脈なしモデルの隠れ状態を入力として使用する。
• モデルアーキテクチャは50次元の単語埋め込みと64ユニットのLSTM隠れ層を用い、カテゴリカル交差エントロピー損失とソフトマックス出力を用いて、時間方向に逆誤差伝搬により最適化される。
• WebインターフェースはDjangoで構築され、複数ターンの会話入力が可能で、両モデルの結果が信頼度スコアとともに返却され、表示される。
• モジュラサーバーアーキテクチャにより、Webインターフェースとモデル推論サーバーが分離されており、スケーラブルなデプロイと複数モデルの統合が可能である。
• 本システムは単一発話および複数ターンの会話入力に対応し、上位3件の予測と信頼度レベルを示す展開可能テーブルで結果を提示する。

実験結果

リサーチクエスチョン

• RQ1 会話の文脈を組み込むことで、発話行動認識の正確性が個々の発話レベル分類と比べてどの程度向上するか？
• RQ2 階層的RNNモデルは、個別に分析すると曖昧な発話行動を、どの程度文脈に依存する形で捉えることができるか？
• RQ3 ライブでインタラクティブなWebデモは、現実の会話における深い会話構造の分析を効果的に示し、支援できるか？
• RQ4 同じ表面形（例：'Yeah.'）をもつ発話が、異なる発話文脈によってどのように異なる発話行動に分類されるか？
• RQ5 文脈に基づくモデルは、曖昧または疎な会話文脈において、低信頼度の予測をどのように処理するか、その限界は何か？

主な発見

• 文脈ありモデルは、Yes-No-Questionの後に続く'Yeah.'を'Yes-Answer'として正しく分類した一方で、Statementの後に続く場合は'Backchannel'として正しく分類した。一方、文脈なしモデルは両方を'Backchannel'として誤分類した。
• 文脈なしモデルは、同じ表面形をもつ発話を、異なる会話的機能として区別できず、文脈の重要性が浮き彫りになった。
• 文脈ありモデルは、'Negative Answer' や 'Agree/Accept' といった文脈依存の発話行動において、より高い信頼度で正しく分類した。
• 一部の予測（例：発話4および6）では信頼度が低く、複雑または曖昧な会話的依存関係をモデル化する際の課題を示している。
• 本システムは、会話構造が語彙的コンテンツにのみ依存するのではなく、順序的および文脈的ヒントに依存することを効果的に示した。
• モジュラサーバーアーキテクチャにより、追加のモデルやコーパスの統合が容易に可能となり、将来の拡張性が確保された。