[論文レビュー] Learning Multi-Party Turn-Taking Models from Dialogue Logs

Maíra Gatti de Bayser, Paulo Cavalin+2 more|arXiv (Cornell University)|Jul 3, 2019

Speech and dialogue systems参考文献 17被引用数 11

ひとこと要約

本稿では、会話ログに基づいてトレーニングされた機械学習モデルを用いて、マルチパーティ会話における発話の順番付けを学習する手法を提案している。MLE、SVM、CNN、LSTMといった手法を比較した結果、トピック中心の大きなデータセットでは、コンテンツに配慮したディープラーニングモデル（特にCNN）が他の手法を著しく上回った。一方、小さなトピック特化型データセットでは、単純なモデルで十分であった。

ABSTRACT

This paper investigates the application of machine learning (ML) techniques to enable intelligent systems to learn multi-party turn-taking models from dialogue logs. The specific ML task consists of determining who speaks next, after each utterance of a dialogue, given who has spoken and what was said in the previous utterances. With this goal, this paper presents comparisons of the accuracy of different ML techniques such as Maximum Likelihood Estimation (MLE), Support Vector Machines (SVM), and Convolutional Neural Networks (CNN) architectures, with and without utterance data. We present three corpora: the first with dialogues from an American TV situated comedy (chit-chat), the second with logs from a financial advice multi-bot system and the third with a corpus created from the Multi-Domain Wizard-of-Oz dataset (both are topic-oriented). The results show: (i) the size of the corpus has a very positive impact on the accuracy for the content-based deep learning approaches and those models perform best in the larger datasets; and (ii) if the dialogue dataset is small and topic-oriented (but with few topics), it is sufficient to use an agent-only MLE or SVM models, although slightly higher accuracies can be achieved with the use of the content of the utterances with a CNN model.

研究の動機と目的

• チャットボットが直接的なユーザーの指示に依存せずに、マルチパーティ会話においていつ発話をすべきかを自律的に判断できるようにするという課題に対処すること。
• ルールベースのシステムが熟練者の知識を必要とし、スケーラビリティに欠けるという制限を避けるために、会話ログから機械学習が発話順序行動を学習できるかどうかを調査すること。
• チャット会話やトピック中心の会話といった異なる種類の会話データに対して、MLE、SVM、CNN、LSTMといったさまざまな機械学習モデルの有効性を評価すること。
• 発話の内容（テキスト）を含めるか、単に発話者履歴のみを用いるかが、予測精度に与える影響を特定すること。
• データセットのサイズが、特にディープラーニングアプローチのモデルパフォーマンスに与える影響を評価すること。

提案手法

• このタスクは、直前の発話者シーケンスとその発話を与えられたとき、次の発話者を予測する多クラス分類問題として定式化されている。
• 3種類の異なる会話コーパスを構築した：(1) テレビドラマの会話（チャット会話）、(2) 財務アドバイスを目的としたマルチボットログ（トピック中心）、(3) MultiWOZデータセットから抽出したコーパス（トピック中心）。
• モデルは、発話者履歴のみ（エージェントのみ）と、発話者履歴に加えて発話テキスト（エージェント＋コンテンツ）を入力として使用し、最大2回分の直前発話を履歴として保持する。
• さまざまなモデルを評価した：最大尤度推定（MLE）、サポートベクターマシン（SVM）、畳み込みニューラルネットワーク（CNN）、長短期記憶（LSTM）ネットワーク。
• コンテンツベースのモデルでは、発話を事前学習済みの文脈的埋め込み（標準的な自然言語処理の実践に従って）を用いてエンコードし、CNNは発話者・コンテンツ履歴を順序付きに処理して次の発話者を予測する。
• 性能評価には正解率を用い、直前に発話した相手を常に予測するベースラインモデル（Repeat Last）を設定した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、明示的なルールを用いずに、生の会話ログからマルチパーティ会話における次の発話者を予測できるか？
• RQ2 発話の内容を含めることで、発話者履歴のみを用いる場合と比較して、発話順序予測の精度はどの程度向上するか？
• RQ3 学習コーパスのサイズが、さまざまな機械学習モデル、特にディープラーニングモデルのパフォーマンスに与える影響は何か？
• RQ4 MLE、SVM、CNN、LSTM の中で、チャット会話とトピック中心の会話という異なる会話タイプにおいて、最も高い正解率を達成するのはどのモデルか？
• RQ5 コンテンツに配慮したモデルの性能向上は、統計的に有意であるか。特に、小さなデータセットやトピック特化型データセットにおいて顕著か？

主な発見

• CNNモデルは、3つのすべてのデータセットで最高の正解率を達成した。特に、最大で、トピック中心の multibotwoz データセットでは、発話者と内容の両方を入力とすると94.19%の正解率を記録した。
• 大規模な multibotwoz データセットでは、コンテンツに配慮したCNNモデルがベースライン（p < 0.01）を著しく上回った。これは、大規模なデータセットによりディープラーニングモデルが良好に一般化できることを示している。
• 小さなトピック中心の finch データセットでは、エージェントのみのMLEとSVMモデルは適切な性能を示したが、CNNを用いて内容を追加すると正解率が著しく向上した（例：AC-SVM: 92.48% 対 A-SVM: 66.55%）、かつ統計的に有意であった（p < 0.01）。
• チャット会話のドラマデータセットでは、CNNを含むすべてのモデルが、単純な Repeat Last ベースライン（61.34%）を下回り、すべてのモデルで統計的有意な改善が得られなかった（p ≥ 0.01）。これは、現在の手法ではチャット会話の会話が予測が難しい可能性を示唆している。
• 2回分の履歴（2ターン分）のラックアップウインドウが、1ターン分のモデルを常に上回り、2回分を超えて延長しても性能向上が見られなかった。
• コンテンツベースのディープラーニングモデルは、データセットサイズと強い正の相関関係を示した。大規模データセットでは性能が著しく向上したが、小規模データセットではモデルの恩恵が限定的であり、特にトピック中心でない状況では顕著であった。