[論文レビュー] Generalized Intent Discovery: Learning from Open World Dialogue System

Yutao Mou, Keqing He+7 more|arXiv (Cornell University)|Sep 13, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、一般化意図発見（GID）という新しいタスクを紹介する。GIDは、域内（IND）の意図分類器が、同時にラベル付きのIND意図を分類するとともに、段階的にラベルなしの域外（OOD）意図タイプを発見できるようにする。著者らは、パイプラインベースおよびエンドツーエンドのフレームワークを提案し、視覚的拡張とSinkhorn-Knoppアルゴリズムを用いた自己教師付き対照的学習と疑似ラベル付けを組み合わせることで、実世界の対話データを用いた3つの公開GIDベンチマークで、より優れた汎化性能と耐障害性を達成した。

ABSTRACT

Traditional intent classification models are based on a pre-defined intent set and only recognize limited in-domain (IND) intent classes. But users may input out-of-domain (OOD) queries in a practical dialogue system. Such OOD queries can provide directions for future improvement. In this paper, we define a new task, Generalized Intent Discovery (GID), which aims to extend an IND intent classifier to an open-world intent set including IND and OOD intents. We hope to simultaneously classify a set of labeled IND intent classes while discovering and recognizing new unlabeled OOD types incrementally. We construct three public datasets for different application scenarios and propose two kinds of frameworks, pipeline-based and end-to-end for future work. Further, we conduct exhaustive experiments and qualitative analysis to comprehend key challenges and provide new guidance for future GID research.

研究の動機と目的

• 従来の意図分類モデルが、実世界の展開環境で新しい未確認の域外（OOD）意図タイプを認識できないという制限を解消すること。
• ラベル付きの域内（IND）意図クラスを維持しながら、未ラベルのOOD意図タイプを段階的に発見できる新しいタスク、一般化意図発見（GID）を提案すること。
• オープンワールド対話システムにおける多様な応用シナリオをカバーするため、単一ドメイン、マルチドメイン、クロスドメインの3つの公開ベンチマークを構築すること。
• 域内（IND）および域外（OOD）意図学習のための統合的アプローチとして、パイプラインベースおよびエンドツーエンドの2つのフレームワークパラダイムを開発・評価すること。
• GIDにおける主な課題、例えば細分化されたOODタイプ、ドメインギャップ、データの不均衡、OODノイズを特定・分析し、今後の研究を支援すること。

提案手法

• 未ラベルのOODデータに対してクラスタリングを実行し、疑似ラベルを生成するパイプラインベースのフレームワークを提案。その後、ラベル付きINDデータと疑似ラベル付きOODデータを統合して学習する。
• エンドツーエンドのフレームワークを導入し、統一された目的関数を用いてIND分類とOOD疑似ラベル付けを同時に最適化する。
• 同じOODサンプルに対して一貫した表現を生成できるように、視覚的拡張を用いた対照的学習戦略を採用する。これにより、信頼性の高い疑似ラベル予測が可能になる。
• OODサンプルにソフト疑似ラベルを割り当てるための微分可能な最適輸送問題を解くために、Sinkhorn-Knopp（SK）アルゴリズムを用いる。
• 拡張された視覚的ビュー間での予測を入れ替え（swapped prediction）により、真のOODラベルを必要とせずに疑似ラベルを生成する。
• Supervised cross-entropy（INDクラス用）と対照的損失（OODクラスタリング用）を統合した損失関数を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 1つの統合フレームワーク内で、ラベル付き域内（IND）意図と未ラベルの域外（OOD）意図タイプの両方を認識できるように、意図分類器をどのように拡張できるか？
• RQ2 ドメインシフト、データの不均衡、ノイズの多いOODサンプルといった、一般化意図発見（GID）における主な課題は何か？ それらはモデル性能にどのように影響するか？
• RQ3 パイプラインベースとエンドツーエンドのフレームワークは、新しいOOD意図タイプを発見する観点で、性能と耐障害性においてどのように比較されるか？
• RQ4 視覚的拡張とSinkhorn-Knopp最適化を用いた自己教師付き対照的学習は、OOD意図発見のための信頼性の高い疑似ラベルを効果的に生成できるか？
• RQ5 GIDは、進化を続けるユーザークエリに対応する実世界の対話システムにおける継続的改善に、実用的意義をもたらすか？

主な発見

• エンドツーエンドフレームワークは、OOD発見とIND分類の統合をより効果的に行うため、ノイズの多い疑似ラベルによる誤差伝搬を低減でき、パイプラインベースの手法を上回る性能を示した。
• 細分化されたOOD意図タイプは大きな課題を呈する。既存のIND意図と意味的類似性が高いため、誤分類や誤ったクラスタリングが生じやすい。
• 学習データと推論データの間のドメインギャップは、特にOODデータがIND学習セットとは異なるドメインからの場合に、性能の低下を引き起こす。
• INDとOODクラス間のデータの不均衡は、モデルの汎化性能に悪影響を及える。特に、代表度が低いOODタイプは発見が困難である。
• 実世界のOODノイズ（曖昧なクエリや誤分類されたクエリなど）は、クラスタリングの品質とモデルの耐障害性に顕著な影響を与える。
• 正しいOOD意図タイプの数を推定することは、依然として重要な課題である。過剰推定または不足推定は、クラスタリングと分類性能の両方を著しく劣化させる。