[論文レビュー] SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding

Wanwei He, Yinpei Dai+7 more|arXiv (Cornell University)|Sep 14, 2022

Speech and dialogue systems被引用数 15

ひとこと要約

SPACE-2 は、一般化された意味的木構造（STS）と多視点スコア関数を用いてラベル付き対話アノテーションを活用することで、タスク指向対話理解のための木構造的半教師あり対照的事前学習フレームワークを提案する。ラベル付き対話間の階層的意味的類似性をモデル化し、大規模なラベルなしデータを共同で事前学習することで、DialoGLUEベンチマークにおける7つのデータセットと4つの対話理解タスクで最先端の性能を達成し、特に少サンプル設定で顕著な効果を示す。

ABSTRACT

Pre-training methods with contrastive learning objectives have shown remarkable success in dialog understanding tasks. However, current contrastive learning solely considers the self-augmented dialog samples as positive samples and treats all other dialog samples as negative ones, which enforces dissimilar representations even for dialogs that are semantically related. In this paper, we propose SPACE-2, a tree-structured pre-trained conversation model, which learns dialog representations from limited labeled dialogs and large-scale unlabeled dialog corpora via semi-supervised contrastive pre-training. Concretely, we first define a general semantic tree structure (STS) to unify the inconsistent annotation schema across different dialog datasets, so that the rich structural information stored in all labeled data can be exploited. Then we propose a novel multi-view score function to increase the relevance of all possible dialogs that share similar STSs and only push away other completely different dialogs during supervised contrastive pre-training. To fully exploit unlabeled dialogs, a basic self-supervised contrastive loss is also added to refine the learned representations. Experiments show that our method can achieve new state-of-the-art results on the DialoGLUE benchmark consisting of seven datasets and four popular dialog understanding tasks. For reproducibility, we release the code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2.

研究の動機と目的

• 従来の対照的学習が、意味的類似性に関係なくすべての同一でない対話をネガティブサンプルとして扱うという限界を是正すること。
• ドメイン、意図、スロット、値のレベルで階層的意図・スロット・値情報を捉える一般化された意味的木構造（STS）を用いて、対話データセット間の一貫性のないアノテーションスキーマを統一すること。
• ハードポジティブ／ネガティブラベルに依存するのではなく、ラベル付き対話間のソフト意味的類似性をモデル化する多視点スコア関数を用いて、対話表現学習を向上させること。
• ラベル付きおよびラベルなし対話データを半教師あり対照的学習フレームワークに統合し、特にリソースが限られた状況でもモデルの汎化性能を向上させること。
• 構造的知識と大規模なラベルなしデータを用いた共同事前学習が、対話理解タスクに与える有効性を実証すること。

提案手法

• タスク指向対話データセット間の一貫性のないアノテーションスキーマを統一するための一般化された意味的木構造（STS）を導入し、ドメイン、意図、スロット、値のレベルで階層的意味をエンコードすること。
• 対話間の意味的類似性を計算する多視点スコア関数を設計し、STSのグローバルおよびローカルサブ構造からのスコアを集約することで、ソフトポジティブサンプリングを可能にすること。
• 多視点スコア関数を用いた教師あり対照的学習を適用し、意味的に関連する対話をより類似した表現にすることを促進し、完全に異なる対話のみを分離すること。
• 大規模なラベルなし対話データに標準的な自己教師あり対照的損失を適用し、学習された表現をさらに精緻化すること。
• 教師ありおよび自己教師あり対照的学習を組み合わせた共同目的関数を用いて、ラベル付きおよびラベルなしデータの両方でモデルをエンドツーエンドで訓練すること。
• 微調整を用いて、最終モデルを意図予測、スロット埋め込み、対話状態追跡の下流タスクに適応させること。

実験結果

リサーチクエスチョン

• RQ1 統一されたSTSを用いてラベル付き対話の階層的意味的構造をモデル化することで、タスク指向対話システムにおける表現学習が向上するか？
• RQ2 グローバルおよびローカルSTSサブ構造を考慮する多視点スコア関数は、従来のハードポジティブサンプリングと比較して、対照的事前学習の性能にどのように影響を与えるか？
• RQ3 半教師あり対照的学習を用いてラベル付きおよびラベルなし対話データを統合することで、特に少サンプル設定においてモデルの汎化性能がどの程度向上するか？
• RQ4 提案手法は、リソースが限られた状況を含む多様な対話理解ベンチマークで、既存の最先端手法を上回る性能を示すか？
• RQ5 t-SNE可視化によって、学習された表現が人間のアノテーションされた意味的構造とどの程度整合しているか？

主な発見

• SPACE-2 は DialoGLUE ベンチマークで最先端の結果を達成し、全7つのデータセットと4つの対話理解タスクで既存手法を上回った。
• DSTC8 ベンチマークでは、少サンプル設定下でバス（Bus）ドメインで91.6、イベント（Event）ドメインで92.4、ホーム（Home）ドメインで96.2、レンタルカー（RentalCar）ドメインで88.3のF1スコアを達成した。
• REST 8K の1/32ショット設定では、SPACE-2 multi がF1スコア84.7を達成し、タスク固有の設計を一切行わずに、前回の最先端手法（82.1）を顕著に上回った。
• アブレーションスタディの結果、木構造的対照的学習を削除すると平均性能が88.10%から87.57%に低下し、その主な貢献であることが確認された。
• t-SNE可視化により、学習された表現がドメイン、意図、スロット、値のサブスペースにおいて、対話アノテーションと高精度に一致していることが確認された。
• 特に少サンプル設定で優れた性能を示し、リソースが限られた状況における半教師あり事前学習の有効性が裏付けられた。