[論文レビュー] Deep Open Intent Classification with Adaptive Decision Boundary

Hanlei Zhang, Hua Xu+1 more|arXiv (Cornell University)|Dec 18, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 9

ひとこと要約

本稿では、深層オープン意図分類のための後処理手法である適応的意思決定境界（ADB）を提案する。この手法は、モデルアーキテクチャの変更やオープン意図サンプルの必要なしに、クラス固有のタイトな球面的意思決定境界を学習する。新たな損失関数により経験的リスクとオープンスペースリスクをバランスさせることで、既知の意図分類の正確性とオープン意図検出の両方を向上させ、3つのベンチマークデータセットで最先端の手法を上回る性能を発揮する。特に、低データ環境下での性能が顕著である。

ABSTRACT

Open intent classification is a challenging task in dialogue systems. On the one hand, it should ensure the quality of known intent identification. On the other hand, it needs to detect the open (unknown) intent without prior knowledge. Current models are limited in finding the appropriate decision boundary to balance the performances of both known intents and the open intent. In this paper, we propose a post-processing method to learn the adaptive decision boundary (ADB) for open intent classification. We first utilize the labeled known intent samples to pre-train the model. Then, we automatically learn the adaptive spherical decision boundary for each known class with the aid of well-trained features. Specifically, we propose a new loss function to balance both the empirical risk and the open space risk. Our method does not need open intent samples and is free from modifying the model architecture. Moreover, our approach is surprisingly insensitive with less labeled data and fewer known intents. Extensive experiments on three benchmark datasets show that our method yields significant improvements compared with the state-of-the-art methods. The codes are released at https://github.com/thuiar/Adaptive-Decision-Boundary.

研究の動機と目的

• 会話システムにおけるオープン意図分類の課題に対処すること。これは、事前に知識のない未知の意図を検出する必要がある状況である。
• しきい値や境界選択に負例またはオープン意図サンプルを必要とする従来手法の限界を克服すること。
• 既知の意図クラスのための適応的意思決定境界を学習する後処理手法を開発し、オープン意図の検出を向上させること。
• 限られたラベル付きデータでも、既知の意図分類の高いパフォーマンスを維持しながら、未知の意図を効果的に同定できること。
• モデルアーキテクチャの変更や手動によるハイパーパrameterチューニングの必要性を排除すること。

提案手法

• 標準的なソフトマックス損失を用いて、ラベル付き既知の意図サンプル上でBERTベースのモデルを事前学習する。
• クラス固有の重心を定義し、標準正規分布上での学習可能活性化関数を用いて意思決定境界半径を初期化する。
• 経験的リスク（既知の意図分類）とオープンスペースリスク（未知の意図検出）をバランスさせる境界損失関数を提案する。
• バックプロパゲーションによる境界半径最適化を通じて、各既知の意図クラスに対してタイトで適応的な球面的意思決定境界を学習する。
• 推論時において、学習済みの意思決定境界を用いて、入力を既知の意図かオープン意図クラスかに分類する。
• この手法はモデルに依存せず、元のニューラルネットワークアーキテクチャの変更が不要な後処理ステップとして動作する。

実験結果

リサーチクエスチョン

• RQ1 後処理手法が、オープン意図サンプルを必要とせずに適応的意思決定境界を学習し、オープン意図分類を向上させられるか？
• RQ2 経験的リスクとオープンスペースリスクをバランスさせることで、既知の意図分類とオープン意図分類の両方のパフォーマンスにどのような影響を与えるか？
• RQ3 少ない既知の意図クラスと少ないデータ量の下で、提案手法がどれほど一般化可能か？
• RQ4 負例やモデル変更を必要とする最先端の手法よりも、本手法が優れたパフォーマンスを達成できるか？
• RQ5 既知のクラス数や学習データサイズの変動に対して、本手法はどれほど頑健か？

主な発見

• 提案されたADB手法は、オープン意図分類の3つのベンチマークデータセットにおいて、最先端の手法を顕著に上回る性能を達成した。
• 3つのすべてのデータセットで、ADBはベースライン手法よりも既知の意図分類の正確性とオープン意図検出のF1スコアの両方で優れた結果を示した。
• ラベル付きサンプルが少ない場合や既知の意図クラスが少ない場合でも、強力なパフォーマンスを維持しており、高いデータ効率性を示した。
• ADBが学習する適応的意思決定境界は、固定値や統計的に導かれたしきい値よりも、既知の意図とオープン意図を効果的に分離するのに優れていた。
• ハイパーパrameterの選択に頑健で、提案された損失関数により自動的に最適な境界が学習されるため、感度が低く、安定性が高かった。
• 広範なアブレーションスタディにより、境界損失が経験的リスクとオープンスペースリスクを効果的にバランスさせ、一般化性能の向上に寄与していることが確認された。