[論文レビュー] Finding Dominant User Utterances And System Responses in Conversations

Dhiraj Madan, Sachindra Joshi|arXiv (Cornell University)|Oct 29, 2017

Speech and dialogue systems参考文献 20被引用数 3

ひとこと要約

本稿では、ユーザー発話とシステム発話の両方を同時にクラスタリングし、隣接関係情報を活用することで意図と応答のグループ化を改善する、K-meansの新規拡張手法であるSimClusterを提案する。ペナルティに基づく目的関数によるクラスタの整合性を図ることで、標準的なK-meansに比べてF1スコアが最大10%絶対値で向上し、実データおよび合成データにおいてクラスタリング品質が著しく向上する。

ABSTRACT

There are several dialog frameworks which allow manual specification of intents and rule based dialog flow. The rule based framework provides good control to dialog designers at the expense of being more time consuming and laborious. The job of a dialog designer can be reduced if we could identify pairs of user intents and corresponding responses automatically from prior conversations between users and agents. In this paper we propose an approach to find these frequent user utterances (which serve as examples for intents) and corresponding agent responses. We propose a novel SimCluster algorithm that extends standard K-means algorithm to simultaneously cluster user utterances and agent utterances by taking their adjacency information into account. The method also aligns these clusters to provide pairs of intents and response groups. We compare our results with those produced by using simple Kmeans clustering on a real dataset and observe upto 10% absolute improvement in F1-scores. Through our experiments on synthetic dataset, we show that our algorithm gains more advantage over K-means algorithm when the data has large variance.

研究の動機と目的

• 過去の会話から頻出するユーザーの意図とそれに応じたシステム応答を自動で特定することで、対話システム設計における人的作業を削減すること。
• ユーザー発話とエージェント発話を別々に扱うのではなく、それらの隣接関係を統合的にモデル化することで、発話のクラスタリング精度を向上させること。
• ユーザー意図のクラスタとシステム応答のクラスタを一致させることで、対話フロー作成を支援する手法を開発すること。
• 現実世界の対話データおよび高いばらつきを示す合成データに対して、隣接関係に配慮したクラスタリングの有効性を評価すること。

提案手法

• 隣接関係に基づいてユーザー発話とエージェント発話のクラスタを一致させるように、目的関数にペナルティ項を追加したK-meansの拡張。
• 二部マッチングを用いて初期のユーザークラスタとエージェントクラスタの最適な一致を特定し、クラスタ間距離を最小化する。
• 一方のドメインにおける類似性が、共有される一致制約を通じて他方のドメインのクラスタリングに影響を与える二重クラスタリングプロセスを導入。
• 文書のベクトル表現としてDoc2Vecとseq2seq（Seq2Seq）モデルを併用し、後者は隣接関係の文脈を符号化する。
• 重心の初期化にD²サンプリングを適用し、バリデーションセット上でハイパーパrameter αを調整してクラスタリングと一致のバランスを最適化。
• K-meansを5イテレーション実行した後、クラスタ割り当ての改善を図るため30イテレーションのSimClusterを実行。

実験結果

リサーチクエスチョン

• RQ1 ユーザー発話とシステム発話を隣接関係を考慮して同時にクラスタリングすることで、独立してクラスタリングする場合に比べ、ユーザーの意図やシステム応答の特定がより良くなるか。
• RQ2 実際の対話データに適用した場合、SimClusterは標準的なK-meansに比べてF1スコアおよびARIスコアでどのように異なるか。
• RQ3 特にユーザー発話ドメインにおいて、高いばらつきを示すデータでは、SimClusterがK-meansに比べてより顕著な改善を示すか。
• RQ4 Seq2Seqモデルを用いて返信文脈を統合することで、Doc2Vecに比べてベクトル表現がクラスタリングにどの程度向上するか。

主な発見

• 実際のTwitterベースの対話データにおいて、SimClusterは標準的なK-meansに比べてF1スコアを最大10%絶対値で向上させた。Doc2Vecベクトルを用いた場合、ユーザー領域で0.093、エージェント領域で0.087の向上を達成した。
• Seq2Seqベースのベクトル表現を用いた場合、ユーザー発話のF1スコアは0.83から0.86に、エージェント発話のF1スコアは0.90から0.916に向上した。
• Seq2Seq表現よりもDoc2Vec表現に対してより顕著な改善が見られた。これは、Seq2Seq表現が既に一部の隣接関係情報を符号化しているためである。
• ユーザー発話のクラスタリングは、エージェント発話の文脈を組み込むことでより大きな利益を得ており、ユーザー発話の表現のばらつきが大きいのに対し、エージェント応答はより一般的なパターンであるためである。
• 定性的な分析により、SimClusterが意味的に類似した発話を正しく同じクラスタにグループ化していることが確認された（例：'I can't open email' と 'Email not opening' が同じクラスタに所属）。一方、K-meansはそれらを分離していた。
• 高いばらつきを示す合成データにおいても、SimClusterはK-meansに比べてより顕著に優れた性能を示し、困難なクラスタリング状況における優位性が裏付けられた。