[論文レビュー] Zero-shot User Intent Detection via Capsule Neural Networks

Congying Xia, Chenwei Zhang+3 more|arXiv (Cornell University)|Sep 2, 2018

Topic Modeling参考文献 19被引用数 15

ひとこと要約

本論文では、階層的意味特徴を学習し、既存の意図から新規の意図へ知識を転移することで、ゼロショット設定下でユーザーの意図を検出する、キャプセルネットワークベースのモデルであるIntentCapsNetおよびIntentCapsNet-ZSLを提案する。これらのモデルは、2つの実世界のデータセットで最先端の性能を達成し、新しい意図のラベル付きデータを必要とせずに、強力な一般化性能と解釈可能性を示している。

ABSTRACT

User intent detection plays a critical role in question-answering and dialog systems. Most previous works treat intent detection as a classification problem where utterances are labeled with predefined intents. However, it is labor-intensive and time-consuming to label users' utterances as intents are diversely expressed and novel intents will continually be involved. Instead, we study the zero-shot intent detection problem, which aims to detect emerging user intents where no labeled utterances are currently available. We propose two capsule-based architectures: INTENT-CAPSNET that extracts semantic features from utterances and aggregates them to discriminate existing intents, and INTENTCAPSNET-ZSL which gives INTENTCAPSNET the zero-shot learning ability to discriminate emerging intents via knowledge transfer from existing intents. Experiments on two real-world datasets show that our model not only can better discriminate diversely expressed existing intents, but is also able to discriminate emerging intents when no labeled utterances are available.

研究の動機と目的

• ラベル付き学習データが利用できない対話システムにおける新規ユーザー意図の検出という課題に対処すること。
• 外部のアノテーションや大規模な再トレーニングを必要とせず、既存の意図から未観測の意図へ一般化可能なゼロショット学習フレームワークを開発すること。
• キャプセルネットワークの階層的特徴学習および動的ルーティング機能を活用し、意図検出における解釈可能性とロバスト性を向上させること。
• ラベル類似度とルーティング情報を利用して、既存の意図から新規の意図へ知識を転送すること。

提案手法

• 発話文から意味特徴を抽出するために自己注意機構を用いたキャプセルベースのアーキテクチャ、IntentCapsNetを採用する。
• 意味特徴を高次元の意図表現に集約するために、動的ルーティング・バイ・アヘッド機構を適用する。
• 既存の意図から新規の意図へ投票ベクトルとルーティング情報を転送することで、IntentCapsNetをIntentCapsNet-ZSLに拡張する。
• 知識転送のシグナルとして、意図ラベルの類似度を統合し、ゼロショット推論をガイドする。
• 両方の意図タイプ（既存および新規）の発話文における特徴抽出挙動を分析するために、注目メカニズムを用いる。
• 既存の意図のラベル付きデータで学習を行い、学習済み表現と類似度ベースのルーティングを用いて、未観測の意図に対してゼロショット推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、意図検出におけるユーザー発話文の階層的意味特徴を効果的に学習できるか？
• RQ2 キャプセルネットワークにおける動的ルーティング・バイ・アヘッド機構は、従来の分類器と比較して意図の識別を向上させられるか？
• RQ3 既存の意図からの知識を効果的に転送することで、未観測のユーザー意図のゼロショット検出が可能になるか？
• RQ4 意図ラベル類似度は、キャプセルフレームワークにおけるゼロショット意図検出の性能にどのように影響を与えるか？
• RQ5 意味的キャプセルは、異なる意図タイプ間で、どのように転送可能で解釈可能な特徴抽出挙動を示すか？

主な発見

• IntentCapsNetは、多様に表現された既存の意図を検出する際、優れた特徴抽象化能力と分類精度を示し、既存の手法を上回る性能を発揮した。
• IntentCapsNet-ZSLは、新規意図のゼロショット検出において高い精度を達成し、類似度分布の分散が0.005を超える場合、20個の新規意図のうち13個が0.83以上の精度を達成した。
• 意味的キャプセルは、転送可能な注目パターンを示す：'PlayMusic'における'play'を検出する同じ注目ヘッドが、'RateABook'における'rate'を同定していることから、異なる意図間での特徴一般化が確認された。
• モデルの性能は、新規意図と既存意図のラベル類似度分布の分散に強く影響を受けており、分散が大きいほどゼロショット性能が向上する傾向が見られた。
• ラベル類似度とルーティング情報の統合により、効果的な知識転送が実現され、新規意図のラベル付きデータへの依存が軽減された。
• キャプセルベースのアーキテクチャにより、解釈可能な注目メカニズムが実現され、行動、対象、スコアなどの意味的コンポonentが意図予測に寄与しているかを可視化できるようになった。