[論文レビュー] Deep Unknown Intent Detection with Margin Loss

Ting-En Lin, Hua Xu|arXiv (Cornell University)|Jun 2, 2019

Anomaly Detection Techniques and Applications参考文献 20被引用数 7

ひとこと要約

本稿では、会話システムにおける未知意図検出のための2段階的ディープラーニング手法を提案する。BiLSTMに大マージンコサイン損失（LMCL）を適用して判別的な意図特徴を学習し、局所外れ要因（LOF）を用いて新奇性検出を行う。ベースラインと比較して一貫した性能向上を達成しており、SNIPSで既知意図が50%の設定下でマクロF1スコアで16.2%の向上を達成した。

ABSTRACT

Identifying the unknown (novel) user intents that have never appeared in the training set is a challenging task in the dialogue system. In this paper, we present a two-stage method for detecting unknown intents. We use bidirectional long short-term memory (BiLSTM) network with the margin loss as the feature extractor. With margin loss, we can learn discriminative deep features by forcing the network to maximize inter-class variance and to minimize intra-class variance. Then, we feed the feature vectors to the density-based novelty detection algorithm, local outlier factor (LOF), to detect unknown intents. Experiments on two benchmark datasets show that our method can yield consistent improvements compared with the baseline methods.

研究の動機と目的

• 会話システムにおいて学習データに存在しない未知のユーザー意図を検出する課題に対処すること。
• 離域データや敵対的生成に依存する既存手法の限界を克服すること。これらの手法は離散的テキスト空間ではしばしば失敗する。
• 既知意図ラベルを活用して、意味的コンパクト性と分離性をモデル化することで、未知意図の検出を向上させること。
• 標準的なソフトマックス損失に代えてマージン損失を導入することで、クラス間分離性とクラス内コンパクト性を向上させ、新奇性検出のための特徴表現を改善すること。
• さまざまな意図分布を示す実世界の会話データセットに適応可能な、堅牢でエンドツーエンドのフレームワークを構築すること。

提案手法

• 発話文を密度行列表現に変換する特徴抽出器として双方向LSTM（BiLSTM）を用いる。
• 埋め込み空間におけるクラス間の角距離を最大化し、クラス内分散を最小化するために、標準的なソフトマックス損失の代わりに大マージンコサイン損失（LMCL）を採用する。
• マージンハイパーパrameter m=0.35 とスケーリング係数 s=30 を用いて、特徴ベクトルとクラス中心間のコサイン類似度を最適化することでLMCLを適用する。
• 得られた判別的な特徴を、密度に基づく新奇性検出に用いる局所外れ要因（LOF）アルゴリズムに供給する。
• 評価指標としてマクロF1スコアを用い、訓練時のクラス不均衡を維持するため、重み付きランダムサンプリングにより既知意図を選択する。
• 事前学習済みGloVe単語埋め込みを用い、200エポックでBiLSTM-LMCLモデルを訓練し、早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なソフトマックス損失と比較して、マージン損失は未知意図検出のためのディープ特徴学習をどのように改善するか？
• RQ2 BiLSTMにLMCLとLOFを組み合わせたアプローチは、多様な会話データセットにおいて未知意図をどの程度効果的に検出できるか？
• RQ3 既知意図の割合が変化する（25%、50%、75%）状況下でも、本手法は一般化性能を示すか？
• RQ4 ATISのような既知意図同士に高い意味的類似性を示すデータセットでは、本手法はどの程度の性能を発揮するか？
• RQ5 提案手法は、DOC や MSP といった最先端のオープンワールド分類ベースラインを上回るか？

主な発見

• SNIPSデータセットにおいて、既知意図が50%の設定下で、DOCベースラインと比較してマクロF1スコアで16.2%の向上を達成した。
• ATISデータセットでは、既知意図の数が増えるにつれて性能が著しく低下し、これは意図同士に高い意味的類似性（例：flight と flight_no）があるためである。
• 標準的なソフトマックス損失を用いたLOF（Softmax）というバリエーションと比較して、本手法はLMCLがよりコンパクトで分離性の高い特徴を学習できることを示した。
• t-SNE可視化により、LMCLはソフトマックス損失と比較して、クラス内に特徴がよりコンパクトに集まり、クラス間で分離性が高まっていることが確認された。
• SNIPSでは、すべての既知意図割合（25%、50%、75%）において一貫した向上が見られ、訓練データの構成変化に対しても頑健であることが示された。
• 未知意図が既知意図と意味的に近い場合でも、マージン損失による特徴の強化のおかげで、本手法は効果的に検出できることがわかった。