[論文レビュー] Discovering New Intents with Deep Aligned Clustering

Hanlei Zhang, Hua Xu+2 more|arXiv (Cornell University)|Dec 16, 2020

Speech and dialogue systems被引用数 5

ひとこと要約

本論文では、限られたラベル付き既知の意図を活用して対話システムにおける新しい意図を発見する手法であるDeep Aligned Clusteringを提案する。既知の意図データで事前学習を行い、k-meansを用いて偽ラベルを生成し、連続するエポック間でのクラスタ割り当てを安定化させるためのアライメント戦略を適用することで、強固でクラスタリングに適した表現を学習し、低信頼度のクラスタをフィルタリングすることで新規意図クラスの数を推定する。ベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Discovering new intents is a crucial task in dialogue systems. Most existing methods are limited in transferring the prior knowledge from known intents to new intents. They also have difficulties in providing high-quality supervised signals to learn clustering-friendly features for grouping unlabeled intents. In this work, we propose an effective method, Deep Aligned Clustering, to discover new intents with the aid of the limited known intent data. Firstly, we leverage a few labeled known intent samples as prior knowledge to pre-train the model. Then, we perform k-means to produce cluster assignments as pseudo-labels. Moreover, we propose an alignment strategy to tackle the label inconsistency problem during clustering assignments. Finally, we learn the intent representations under the supervision of the aligned pseudo-labels. With an unknown number of new intents, we predict the number of intent categories by eliminating low-confidence intent-wise clusters. Extensive experiments on two benchmark datasets show that our method is more robust and achieves substantial improvements over the state-of-the-art methods. The codes are released at https://github.com/thuiar/DeepAligned-Clustering.

研究の動機と目的

• ラベル付き既知の意図サンプルが少量しかない状況で、対話システムにおける新しいユーザーの意囼を発見する課題に対処すること。
• 既知の意図から得た事前知識を、既知と新しい意図が混在する未ラベルデータに転送することで、クラスタリング性能を向上させること。
• トレーニングエポックにわたって一貫性のある偽ラベルを生成し、自己教師付き表現学習に適した高品質な偽ラベルを生成すること。
• k-means出力から低信頼度のクラスタを除去することで、真のクラス数を自動的に推定すること。

提案手法

• 交差エントロピー損失を用いて、小規模なラベル付き既知の意図サンプルで事前学習済みBERTモデルを微調整し、初期の特徴表現を得る。
• エンコードされた意図特徴に対してk-meansクラスタリングを実行し、自己教師付き学習のための偽ラベルを生成する。
• 連続するトレーニングエポック間でのクラスタ重心をアライメントするためのプロジェクション行列Gを学習するアライメント戦略を導入する。これにより、ラベルの不一致を低減する。
• アライメント済みの偽ラベルを教師信号として用いてモデルを訓練し、歴史的な学習を保持するとともに表現品質を向上させる。
• k-means出力から信頼度が低いクラスタを繰り返し除去することで、意図クラスの数を推定する。
• 推論時において再度k-meansを適用し、最終的な意図クラスタ割り当てを取得する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付き既知の意図データを、教師なし設定下で新しい意図の発見を効果的に支援するために活用できるか？
• RQ2 k-meansクラスタリングによる不一致な偽ラベルを、トレーニングエポックにわたってどのように安定化できるか？
• RQ3 真のクラス数を事前に知らずに、新規意図クラスの数を正確に推定できるか？
• RQ4 提案されたアライメント戦略は、ランダムな再初期化と比較して、クラスタリング性能と頑健性において優れているか？
• RQ5 本手法は、既知の意図クラス数や初期クラスタ数K'の変動に対してどれほど感度を示すか？

主な発見

• 提案手法は2つのベンチマークデータセットにおいて、最先端の手法を著しく上回り、意図発見において優れた頑健性と正確性を示した。
• アライメント戦略により、再初期化と比較して顕著な性能向上が得られ、特にデータが少ない状況下で、エポック間での学習済み特徴情報を保持する点で優位性を示した。
• 異なる既知の意図比率（25%、50%、75%）において、誤差率が低く、BERT-MCL や BERT-DTC といったベースライン手法を上回るクラス数推定性能を発揮した。
• 真のクラス数の4倍まで大きな初期クラスタ数K'を用いても、本手法は頑健に保たれる一方、他の手法はそのような条件下で著しく性能を低下させた。
• 既知の意図数が少ない状況でも、性能が安定し、優れた性能を示した。これは、他の手法が事前知識に強く依存し、ラベル付きデータにバイアスがかかるのとは対照的である。