[論文レビュー] Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection

Jianguo Zhang, Kazuma Hashimoto+5 more|arXiv (Cornell University)|Jun 8, 2021

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

この論文は、few-shot意図分類における事前学習されたTransformerのロバスト性を調査し、対域外の意図（ID-OOS）例—意味的に類似しているがサポートされていない意図—に対しては性能が著しく低いことが判明した。これは、対域内OOS（in-scope）および対域外OOS（out-of-domain OOS）のケースでは優れた性能を示すが、その一方で、ID-OOS例に対しては顕著な欠落が生じていることを示している。著者らは、CLINC-Single-Domain-OOSおよびBANKING77-OOSの2つの新しいデータセットを構築し、BERT、RoBERTa、ToD-BERTなどのモデルが、重複キーワードをマスキングしても、ID-OOS例を対域内クラスとして誤分類する際に高い信頼度を示すことを実証した。これは、評価とモデルのロバスト性に深刻なギャップが存在することを示唆している。

ABSTRACT

Pre-trained Transformer-based models were reported to be robust in intent classification. In this work, we first point out the importance of in-domain out-of-scope detection in few-shot intent recognition tasks and then illustrate the vulnerability of pre-trained Transformer-based models against samples that are in-domain but out-of-scope (ID-OOS). We construct two new datasets, and empirically show that pre-trained models do not perform well on both ID-OOS examples and general out-of-scope examples, especially on fine-grained few-shot intent detection tasks. To figure out how the models mistakenly classify ID-OOS intents as in-scope intents, we further conduct analysis on confidence scores and the overlapping keywords, as well as point out several prospective directions for future work. Resources are available on https://github.com/jianguoz/Few-Shot-Intent-Detection.

研究の動機と目的

• 事前学習されたTransformerのfew-shot意図分類におけるロバスト性、特に対域内対域外（ID-OOS）例に関する調査。
• 現実の対話システムで一般的に見られる、意味的に類似したが対域内OOSの例に対する評価の欠如を是正すること。
• 細粒度のfew-shotシナリオにおけるID-OOSおよび一般OOS意図分類を目的とした、CLINC-Single-Domain-OOSおよびBANKING77-OOSの2つの新しいデータセットの構築とリリース。
• 高信頼度スコアを示すにもかかわらず、モデルがID-OOS例を検出できない理由の分析。キーワードの重なりと信頼度分布に焦点を当てる。
• 現在の評価プロトコルにおける深刻な欠陥を特定し、今後のロバストなOOS検出のための方向性を提案すること。

提案手法

• 対域内クラスから意味的に関連するがサポートされていない意図を抽出することで、ID-OOS例を形成し、CLINC-Single-Domain-OOSおよびBANKING77-OOSの2つの新しいデータセットを構築した。
• 開発セットでチューニングされたしきい値を用いた信頼度ベースのOOS検出法を用いて、BERT、RoBERTa、ALBERT、ELECTRA、ToD-BERTの5つの事前学習モデルを評価した。
• ID-OOS例と対域内意図の間で上位5つの重複する単語（unigrams）を[MASK]トークンに置換することで、マスクド言語モデル化アプローチを適用し、キーワード重なりの誤分類への影響を評価した。
• 標準的な指標（対域内正確度A_in、OOS再現率R_oos、OOS適合率P_oos）を報告し、A_inとR_oosの調和平均を最大化するようにしきい値を最適化した。
• 信頼度スコア分布および誤分類のパターンを特定するため、アブレーションと分析を実施した。
• few-shot（5-shot）とフルショット（full-shot）の設定を比較し、訓練データ量のスケールがID-OOS検出に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 意味的に対域内意図に類似した対域内対域外（ID-OOS）例に直面した場合、事前学習されたTransformerは意図分類においてロバストであるか？
• RQ2 事前学習モデルのID-OOS検出性能は、対域外OOS（OOD-OOS）および対域内例の性能と比べてどの程度異なるか？
• RQ3 ID-OOSと対域内意図の間のキーワード重なりが、マスキング後でもモデルの誤分類にどの程度寄与しているか？
• RQ4 誤分類にもかかわらず、モデルがID-OOS例に対して高信頼度スコアを付与する理由は何か？
• RQ5 対照的学習を用いた既存のfew-shot学習手法は、ID-OOS例におけるOOS検出性能を向上させることができるか？

主な発見

• 事前学習モデルは、ID-OOS例に対して対域内正確度が著しく低く、モデルの複雑さが増すほど性能の差が広がる。
• ID-OOS検出におけるOOS再現率と適合率は、OOD-OOSのそれらと比べて著しく低く、意味的に類似したがサポートされていない意図への一般化能力が乏しいことを示している。
• ID-OOSと対域内意図ペア間の上位5つの重複する単語をマスキングしても、モデルは誤った対域内クラスに対して高い信頼度スコア（例：0.84および0.86）を示し続ける。これは、キーワードを超えた文脈的ヒントに依存している可能性を示唆している。
• RoBERTaは他のモデルに比べて全体的に優れているが、特にBANKING77のような細粒度で多様性の高いドメインでは、ID-OOS例と対域内例を区別できない。
• ToD-BERTは、タスク指向対話データで事前学習されているが、ID-OOS検出では劣る。これは、ドメイン特化した事前学習がOOS意図検出のロバスト性を保証しないことを示している。
• 対照的学習手法はOOS検出性能に顕著な向上をもたらさない。これは、現在のfew-shot学習技術がID-OOS課題に対処するには不十分であることを示唆している。