[論文レビュー] Intent Detection with WikiHow

Li Zhang, Qing Lyu+1 more|arXiv (Cornell University)|Sep 12, 2020

Topic Modeling参考文献 17被引用数 12

ひとこと要約

本論文では、wikiHow（多言語の手順説明サイト）を用いて、ステップ・ゴールのペアに対する複数選択形式の分類タスクとして意図検出を定式化することで、意図検出のための新規事前学習アプローチを提案する。このデータ上で事前学習されたRoBERTaおよびXLM-RoBERTaモデルを微調整することで、複数のベンチマークで最先端の性能を達成し、ドメイン内データがたった100例でも75%以上の精度を達成する。これは、言語やドメインをまたいで強いゼロショットおよびフェイントショット一般化性能を示している。

ABSTRACT

Modern task-oriented dialog systems need to reliably understand users' intents. Intent detection is most challenging when moving to new domains or new languages, since there is little annotated data. To address this challenge, we present a suite of pretrained intent detection models. Our models are able to predict a broad range of intended goals from many actions because they are trained on wikiHow, a comprehensive instructional website. Our models achieve state-of-the-art results on the Snips dataset, the Schema-Guided Dialogue dataset, and all 3 languages of the Facebook multilingual dialog datasets. Our models also demonstrate strong zero- and few-shot performance, reaching over 75% accuracy using only 100 training examples in all datasets.

研究の動機と目的

• 限られたアノテート済みデータしかない低リソースドメインや言語における意図検出の課題に対処すること。
• wikiHowの広範かつ多様で多言語対応の手順説明コンテンツを活用する事前学習タスクを開発すること。
• 大規模でオープンドメインのデータセットで事前学習することで、意図検出ベンチマークにおけるフェイントショットおよびゼロショット性能を向上させること。
• 最小限のドメイン内微調整で、対話システムを新しいサービスや出現したドメインに素早く適応可能にすること。

提案手法

• 著者らは、wikiHowの記事からステップの見出し（発話として）と記事のタイトル（意図として）を抽出することで、事前学習用データセットを構築した。
• 事前学習タスクを4択の複数選択分類として定式化し、与えられたステップ（発話）に対して4つの候補から正しい意図（ゴール）を選択させる。
• 負例は、最小限の語彙的類似性を持つ関連記事からサンプリングされ、意味的な難易度を確保し、自明な負例を避ける。
• 分類ヘッドを備えた標準的なトランスフォーマー基盤アーキテクチャを用いて、標準的な意図検出ベンチマークでモデルを微調整した。
• 多言語評価では、英語、スペイン語、タイ語に対してXLM-RoBERTaを用い、Snips、Schema-Guided Dialogue、Facebookの多言語データセットで微調整した。
• ドメイン内データセットを段階的に小さくして訓練することで、ゼロショットおよびフェイントショット性能を評価し、wikiHowで事前学習したモデルとドメイン内データでのみ事前学習したモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 wikiHowのような大規模で多様かつ多言語対応の手順説明コーパスで事前学習することで、フェイントショットおよびゼロショットでの意図検出性能が向上するか？
• RQ2 低リソース環境において、提案されたwikiHow事前学習タスクは、標準的なドメイン内微調整と比べてどのように優れているか？
• RQ3 wikiHowで事前学習したモデルは、100,000以上の可能な意図を含むオープンドメインの意図検出に一般化できるか？
• RQ4 現在の意図検出ベンチマークの主な失敗モードは何か？また、本モデルは曖昧な表現や固有名依存の発話を処理できるか？

主な発見

• 提案されたモデルは、Snips、Schema-Guided Dialogue、Facebookの多言語意図検出データセットで、最先端の結果を達成した。
• すべてのデータセットで、ドメイン内学習データがたった100例でも75%以上の精度を達成し、顕著なフェイントショット一般化性能を示した。
• ゼロショット設定では、ドメイン内学習データなしでSnipsおよびSGDで70%以上の精度を達成した。
• 5,000件のホールドアウト済みwikiHowステップに100件の候補を提示した際の評価では、平均逆順位（MRR）が0.462、正しいゴールを最初にランク付けする正解率が36%であった。
• 誤差解析の結果、大部分の誤分類は曖昧な表現、誤ったラベル、外部知識を要する固有名に起因していることが判明した。
• 本研究では、Snips や FB-en といった現在のベンチマークがやや簡単すぎる可能性があり、今後の研究はオープンドメインかつ低リソースの意図検出に焦点を当てるべきであると示唆した。