[論文レビュー] Semi-Supervised Clustering with Contrastive Learning for Discovering New Intents

Wei Feng, Zhenbo Cheng+5 more|arXiv (Cornell University)|Jan 7, 2022

Speech and dialogue systems被引用数 9

ひとこと要約

本稿では、ラベル付き意図とコントラスト学習を活用して、会話システムにおける新規意図の発見を目的とした二段階型の半教師ありコントラストクラスタリング手法であるDeep Contrastive Semi-supervised Clustering（DCSC）を提案する。教師付きコントラスト損失と疑似ラベル化を用いて表現とクラスタ割り当てを同時に最適化することで、ClincおよびBankingデータセットにおいて、従来手法（DeepAligned や SCL）を上回る最先端の性能を達成した。

ABSTRACT

Most dialogue systems in real world rely on predefined intents and answers for QA service, so discovering potential intents from large corpus previously is really important for building such dialogue services. Considering that most scenarios have few intents known already and most intents waiting to be discovered, we focus on semi-supervised text clustering and try to make the proposed method benefit from labeled samples for better overall clustering performance. In this paper, we propose Deep Contrastive Semi-supervised Clustering (DCSC), which aims to cluster text samples in a semi-supervised way and provide grouped intents to operation staff. To make DCSC fully utilize the limited known intents, we propose a two-stage training procedure for DCSC, in which DCSC will be trained on both labeled samples and unlabeled samples, and achieve better text representation and clustering performance. We conduct experiments on two public datasets to compare our model with several popular methods, and the results show DCSC achieve best performance across all datasets and circumstances, indicating the effect of the improvements in our work.

研究の動機と目的

• 限られたラベル付き意図データを用いたタスク指向会話システムにおける新規意図の発見という課題に対処すること。
• 半教師ありの枠組みでラベル付きおよびラベルなしサンプルを活用することで、テキストクラスタリング性能を向上させること。
• コントラスト学習を用いて表現学習を強化するとともに、クラスタリングと埋め込み空間を同時に最適化すること。
• 既存の非微分可能クラスタリング手法（例：K-Means）に依存しない、強固でエンド・ツー・エンドの深層クラスタリングフレームワークの構築。

提案手法

• DCSCは二段階の訓練手順を採用する：まずラベル付きデータでクロスエントロピーと教師付きコントラスト損失を用いて事前学習を行い、次にラベル付きおよびラベルなしデータを用いて疑似ラベルを導入して微調整する。
• モデルは文脈を考慮した文の埋め込みを生成するために、BERT や MPNet をバックボーンエンコーダーとして採用する。
• クラスタリング段階では、全サンプルに対して一括でラベルを割り当てるのではなく、バッチ単位で疑似ラベルを割り当てることで、効率的で微分可能（differentiable）な最適化を実現する。
• インスタンスレベルのポジティブおよびネガティブサンプリングを用いて、ラベル付きおよびラベルなしサンプルの両方でコントラスト学習を適用し、表現品質を向上させる。
• 教師付きコントラスト損失は、異なる意図クラス間のマージン制約を強制することで、クラスタの分離性を向上させる。
• フレームワークは表現学習とクラスタ割り当てを同時に最適化しており、K-Means などの非微分可能クラスタリング手法に依存しない。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付き意図を活用する半教師ありクラスタリング手法は、ラベルなしユーザークエリのクラスタリング性能を効果的に向上させることができるか？
• RQ2 コントラスト学習は、リソースが限られた意図発見の状況下で表現学習をどのように向上させるか？
• RQ3 表現学習とクラスタリングの共同最適化は、段階的または反復的アプローチを上回る性能を発揮するか？
• RQ4 エンド・ツー・エンドまたは K-Means に基づく疑似ラベル化と比較して、二段階訓練戦略は精度および耐性（ロバストネス）において優れているか？

主な発見

• Clincデータセットでは、BERTを用いた75%の既知意図率において、89.70%の精度、84.41%のARI、95.28%のNMIを達成し、最先端の性能を示した。
• Bankingデータセットでは、BERTを用いた75%の既知意図率において、75.18%の精度、64.55%のARI、84.65%のNMIを達成し、DeepAligned や SCL を上回った。
• MPNetをバックボーンとして用いた場合、Clincデータセットで75%の既知意図率において、89.70%の精度および95.28%のNMIを達成し、BERTベースのDCSCおよびSCLを上回った。
• アブレーションスタディの結果、クラスタリング段階での教師付き学習が性能向上に顕著に寄与することが確認され、特に既知意図率が高い状況で顕著であった。
• K-Meansの再クラスタリングを実施しない状態でも、DeepAligned を上回る性能を示しており、微分可能でエンド・ツー・エンドのクラスタリング最適化の有効性が裏付けられた。
• モデルは耐性とスケーラビリティに優れ、両データセットにおいて、25%、50%、75%の既知意図率の全スケールで一貫した性能向上を示した。