[論文レビュー] Structure Extraction in Task-Oriented Dialogues with Slot Clustering

Liang Qiu, Chien-Sheng Wu+2 more|arXiv (Cornell University)|Feb 28, 2022

Speech and dialogue systems被引用数 5

ひとこと要約

本稿では、事前学習モデルを用いてスロット境界を検出するプロセスの後、スロットトークンをクラスタリングすることで会話オントロジーを推定する、非教師ありで新規な会話構造抽出手法を提案する。この手法は手動アノテーションを一切用いずに状態遷移グラフを構築し、ベースラインを上回る性能を達成するとともに、有効なデータ拡張を可能にし、応答生成の精度を向上させる。

ABSTRACT

Extracting structure information from dialogue data can help us better understand user and system behaviors. In task-oriented dialogues, dialogue structure has often been considered as transition graphs among dialogue states. However, annotating dialogue states manually is expensive and time-consuming. In this paper, we propose a simple yet effective approach for structure extraction in task-oriented dialogues. We first detect and cluster possible slot tokens with a pre-trained model to approximate dialogue ontology for a target domain. Then we track the status of each identified token group and derive a state transition structure. Empirical results show that our approach outperforms unsupervised baseline models by far in dialogue structure extraction. In addition, we show that data augmentation based on extracted structures enriches the surface formats of training data and can achieve a significant performance boost in dialogue response generation.

研究の動機と目的

• タスク指向会話における手動アノテーション済み会話状態データの高コストと不足問題に対処すること。
• ゴールスタンダードの状態アノテーションに依存せずに、解釈可能な構造的会話フローを抽出する非教師あり手法を開発すること。
• 抽出された構造を用いたデータ拡張により、エンドツーエンドの会話応答生成を改善すること。
• 抽出された構造から直接的に生の発話文から会話オントロジー（スロットタイプと値）をクラスタリングによって推定すること。

提案手法

• 事前学習されたトランスフォーマー・モデルを用いて、BIOタギング方式で発話文内の潜在的スロットトークンを特定する新しいタスク、スロット境界検出（SBD）を定義する。
• 意味的類似度に基づいて検出されたスロットトークンをグループ化するクラスタリングを実施し、クラスタ数がターゲットドメインのスロット数と一致すると仮定する。
• 各会話状態を、各スロットがターンごとに更新された回数を数えるベクトルとして表現する。
• 会話セッション全体を通じてスロット値の変化を追跡し、各発話を対応する会話状態に割り当て、状態遷移頻度を導出する。
• 抽出された構造から状態-発話辞書を構築し、マルチリスポンスデータ拡張（MRDA）を誘導する。
• 抽出された会話フローからサンプリングすることで、多様で論理的に整合性のある学習データをMRDAフレームワークを用いて生成する。

実験結果

リサーチクエスチョン

• RQ1 スロット境界検出とクラスタリングを用いることで、リソースが限られたドメインにおける会話オントロジーを効果的に近似できるか？
• RQ2 クラスタリングに基づく非教師あり構造抽出手法は、教師ありまたは潜在変数モデルと比較して、会話状態遷移をどの程度正確に捉えられるか？
• RQ3 抽出された会話構造は、データ拡張を通じて下流の応答生成をどの程度向上できるか？
• RQ4 抽出された構造は、MultiWOZデータセットの異なるドメインにおいても頑健であるか？

主な発見

• 提案手法は、MultiWOZデータセットの全ドメインにおいて、HMM、VRNN、ルールベースモデルを含むすべての非教師ありベースラインをクラスタリング指標で上回った。
• 抽出された会話構造は高い一貫性を示しており、テストセットの会話状態のうち1つも訓練または検証分割に存在しないことが確認され、優れた一般化性能を示した。
• 抽出された構造に基づくマルチリスポンスデータ拡張（MRDA）は、エンドツーエンドの応答生成において顕著な性能向上を達成し、単一ターン設定において最近の手法（最も頻出サンプリング、MFS）を上回った。
• 本手法によるデータ拡張は、表面表現の多様性を高める一方で論理的整合性を保持でき、モデルの一般化性能の向上に寄与した。
• 推論時においてもアノテート済み会話状態を必要とせず、解釈可能な会話状態遷移を成功裏に再構築できた。