[論文レビュー] Automatic Discovery of Novel Intents & Domains from Text Utterances

Nikhita Vedula, Rahul Gupta+2 more|arXiv (Cornell University)|May 22, 2020

Topic Modeling参考文献 45被引用数 12

ひとこと要約

ADVINは、オープン分類により未知の意図を有する発話の特定から始まり、知識移譲部とペairワイズマージン損失を用いた類似度最適化により潜在的意図カテゴリにクラスタリングし、最後に階層的クラスタリングで関連する意図を新しいドメインにグループ化する、三段階のフレームワークである。このフレームワークは、最小限の教師付き情報で、ベンチマークおよび実世界のデータにおいてベースラインを著しく上回り、最先端の性能を達成する。

ABSTRACT

One of the primary tasks in Natural Language Understanding (NLU) is to recognize the intents as well as domains of users' spoken and written language utterances. Most existing research formulates this as a supervised classification problem with a closed-world assumption, i.e. the domains or intents to be identified are pre-defined or known beforehand. Real-world applications however increasingly encounter dynamic, rapidly evolving environments with newly emerging intents and domains, about which no information is known during model training. We propose a novel framework, ADVIN, to automatically discover novel domains and intents from large volumes of unlabeled data. We first employ an open classification model to identify all utterances potentially consisting of a novel intent. Next, we build a knowledge transfer component with a pairwise margin loss function. It learns discriminative deep features to group together utterances and discover multiple latent intent categories within them in an unsupervised manner. We finally hierarchically link mutually related intents into domains, forming an intent-domain taxonomy. ADVIN significantly outperforms baselines on three benchmark datasets, and real user utterances from a commercial voice-powered agent.

研究の動機と目的

• 自然言語理解（NLU）システムにおける閉世界的意図・ドメイン検出の限界に対処すること。これは、事前に定義されたラベルを必要とし、新たなユーザー要請に適応できない。
• 新しいカテゴリに関する事前知識なしに、大規模かつラベルなしの会話データから自動的に新たな意図とドメインを発見できること。
• 多様なドメインに一般化可能で、トレーニングデータの分布に依存しない汎用的かつスケーラブルなフレームワークの開発。
• ペアワイズ制約を用いた限定的人間の監視を統合することで、クラスタリング品質の向上。

提案手法

• ADVINは、BERTベースのオープン分類を用いて、未知の意図を含む発話を検出。既知のカテゴリとは明確に区別する。
• ペアワイズマージン損失関数を備えた知識移譲部を採用し、意図間の分散を最大化し、意図内での分散を最小化するように、判別性の高い深層特徴を学習。
• 発話ペアに対する対照的学習を適用し、教師なしで潜在的意図クラスタを発見。
• 階層的クラスタリングを用いて、意味的に関連する新たな意図を統合し、一貫性のあるドメインにグループ化。これにより、新たな意図-ドメイン分類体系が構築される。
• クラスタリング段階で「必須リンク」と「不可リンク」の制約を統合し、最小限の人的入力でクラスタリング精度を向上。
• 全パイプラインはエンドツーエンドで学習可能であり、ドメインに依存せず、現実世界の動的NLUアプリケーションにスケーラブルに適合する。

実験結果

リサーチクエスチョン

• RQ1 未知の意図に関する事前知識なしに、フレームワークが新たな意図を含む発話を自動で検出できるか？
• RQ2 対照的学習に基づく手法が、教師なしでラベルなしデータから潜在的意図クラスタをどれほど効果的に発見できるか？
• RQ3 階層的クラスタリングは、発見された意図をどれほど意味的に整合性のあるドメインにグループ化できるか？
• RQ4 ペアワイズ制約による限定的人間の監視は、発見された意図とドメインの品質をどの程度向上させるか？
• RQ5 このフレームワークは多様なドメインに一般化可能であり、ベンチマークおよび実世界データで既存の最先端手法を上回る性能を示せるか？

主な発見

• ADVINはSNIPS Set 1でNMIスコア0.82、ATIS Set 1で0.74を達成。これは、教師なしベースラインを著しく上回った。
• 社内データセットでは、45の新たな意図カテゴリを発見（完全監視時56に比べ）、純度0.75、F1スコア0.65を達成。
• 限定的監視（3組の4つの必須リンクおよび不可リンク制約）を追加したことで、全データセットでF1スコアが2–8%向上。最小限の人的フィードバックの有効性を示した。
• 2,500件のFTOPおよび1,100件の社内発話ペアに対する人間評価では、「ADVIN (ペア+hier)」がF1スコアで全ベースラインを最低5%以上上回り、高いアノテーター間一致度（Cohen’s κ = 0.78および0.9）を示した。
• ADVINは、ビジネス目標に基づいたデータセットのアノテーションよりも、より意味的に根拠のある意図-ドメイン分類体系を生成した。
• 第二の社内データセットでは82の新たな意図カテゴリを発見。大規模で現実世界の会話データへのスケーラビリティを示した。