[論文レビュー] Chat Detection in an Intelligent Assistant: Combining Task-oriented and Non-task-oriented Spoken Dialogue Systems

Satoshi Akasaki, Nobuhiro Kaji|arXiv (Cornell University)|May 2, 2017

Topic Modeling参考文献 32被引用数 22

ひとこと要約

本稿では、タスク指向型と非タスク指向型対話システムを統合したハイブリッド知能アシスタント向けの会話検出システムを提案する。実際のユーザーログから収集した15,160件のアノテート済み発話の新しいベンチマークデータセットを提供し、外部リソース（ツイートとウェブ検索クエリ）を活用することで、教師あり分類の性能を向上させ、F1スコアを86.21から87.53に向上させた。

ABSTRACT

Recently emerged intelligent assistants on smartphones and home electronics (e.g., Siri and Alexa) can be seen as novel hybrids of domain-specific task-oriented spoken dialogue systems and open-domain non-task-oriented ones. To realize such hybrid dialogue systems, this paper investigates determining whether or not a user is going to have a chat with the system. To address the lack of benchmark datasets for this task, we construct a new dataset consisting of 15; 160 utterances collected from the real log data of a commercial intelligent assistant (and will release the dataset to facilitate future research activity). In addition, we investigate using tweets and Web search queries for handling open-domain user utterances, which characterize the task of chat detection. Experiments demonstrated that, while simple supervised methods are effective, the use of the tweets and search queries further improves the F1-score from 86.21 to 87.53.

研究の動機と目的

• ハイブリッドスプoken対話システムにおける会話検出のためのベンチマークデータセットの不足に対処する。
• 実世界の知能アシスタントにおいて、タスク指向型と非タスク指向型のユーザー発話を信頼性高く区別する手法を開発する。
• ツイートやウェブ検索クエリなどの外部のラベルなしデータソースを活用して、会話検出の性能を向上させる。
• データセットと抽出された特徴量を公開することで、今後の研究を促進する。

提案手法

• 商用知能アシスタントのログデータから収集した15,160件の実際のユーザー発話を用いて、新しいベンチマークデータセットを構築した。
• クラウドソーシングを用いて、各発話を会話（非タスク指向型）または非会話（タスク指向型）にアノテートした。
• SVMを用いた教師あり二値分類器（n-gramおよびワード埋め込み特徴を用いて）を、会話検出のために訓練した。
• 言語モデルスコアと埋め込み類似度を用いて、ツイートとウェブ検索クエリからの外部特徴を統合することで分類器を強化した。
• データの割合を変化させた交差検証を実施し、データ効率性とモデルの汎化性能を評価した。
• F1スコアを用いて性能を評価し、発話長やデータスケールに応じた精度の分析も行った。

実験結果

リサーチクエスチョン

• RQ1 教師あり分類アプローチは、ハイブリッド知能アシスタントにおいてユーザーが会話を意図しているかタスクを実行しているかを効果的に検出できるか？
• RQ2 ツイートやウェブ検索クエリなどの外部のラベルなしデータソースは、会話検出の性能をどの程度向上させられるか？
• RQ3 発話長や学習データサイズの変化に伴い、会話検出の性能はどのように変化するか？
• RQ4 外部リソースは、オープンドメインの会話検出におけるアノテート済みデータの不足を補うのに有効か？

主な発見

• ツイートとウェブ検索クエリを活用した提案手法により、F1スコアが86.21から87.53に向上し、顕著な性能向上が確認された。
• 訓練データの25％のみを用いても、外部リソースを統合したモデルは、全データベースラインと同等の精度を達成した。
• 短い発話（≤5文字）において、外部特徴が重要な文脈を提供し、性能向上が顕著に見られた。
• 長い発話（≥15文字）に対しても一貫した向上が見られたことから、無関係またはノイズの多い語彙にも頑健であることが示された。
• 学習曲線から、外部リソースが高精度を達成するためのデータ量要件を顕著に低減していることがわかった。
• 結果から、外部リソースはオープンドメインの会話検出タスクにおけるデータ不足の緩和に有効であると示唆された。