[論文レビュー] Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN

Yilin Shen, Wenhu Chen+1 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本稿では、未知の概念のアノテーションを必要とせずに、スロットフィリングにおけるトークンレベルの不確実性をモデル化する、キャリブレーション済みディリクレ事前分布RNNを提案する。ソフトマックスベースのRNNにディリクレ事前分布を統合し、多タスク学習によって集中パラメータをキャリブレーションすることで、最先端の性能を達成し、Snips、ATIS、およびコンセプトラーニングベンチマークにおいて、OOD概念検出のF1スコアを最大8.18%向上させる。

ABSTRACT

One major task of spoken language understanding (SLU) in modern personal assistants is to extract semantic concepts from an utterance, called slot filling. Although existing slot filling models attempted to improve extracting new concepts that are not seen in training data, the performance in practice is still not satisfied. Recent research collected question and answer annotated data to learn what is unknown and should be asked, yet not practically scalable due to the heavy data collection effort. In this paper, we incorporate softmax-based slot filling neural architectures to model the sequence uncertainty without question supervision. We design a Dirichlet Prior RNN to model high-order uncertainty by degenerating as softmax layer for RNN model training. To further enhance the uncertainty modeling robustness, we propose a novel multi-task training to calibrate the Dirichlet concentration parameters. We collect unseen concepts to create two test datasets from SLU benchmark datasets Snips and ATIS. On these two and another existing Concept Learning benchmark datasets, we show that our approach significantly outperforms state-of-the-art approaches by up to 8.18%. Our method is generic and can be applied to any RNN or Transformer based slot filling models with a softmax layer.

研究の動機と目的

• スプoken言語理解（SLU）における未知の概念を、未知概念データのアノテーションを必要とせずに検出する課題に対処すること。
• ディリクレ事前分布を用いて、RNNベースのスロットフィリングモデルにおけるトークンレベルの不確実性をモデル化し、分布外（OOD）の概念を検出可能にする。
• 多タスク学習によるディリクレ集中パラメータのキャリブレーションにより、不確実性推定のロバストネスを向上させること。
• Transformer や BERT を含む、任意のソフトマックスベースのモデルに適用可能な汎用的手法を開発すること。
• 現実的なOOD概念検出シナリオを想定したベンチマークデータセット上で、手法を評価すること。

提案手法

• RNN学習中にディリクレ事前分布をソフトマックス層へ退化させることで、ディリクレ事前分布RNNを導入。モデルアーキテクチャを維持しつつ、不確実性モデリングを可能にする。
• ディリクル集中パラメータのキャリブレーションを目的とした多タスク学習の目的関数を提案。不確実性推定のロバストネスを向上。
• 発話構文（例：依存木）を用いて、高不確実性フレーズを抽出し、潜在的な未知概念として特定。
• ディリクレエントロピーを信頼度スコアとして用い、未知の概念である可能性の高いトークンを同定。
• 不確実性キャリブレーションを適用し、未観測のOOD語に対する過信を低減。特にOOV語が存在する場合に顕著に効果的。
• 標準的なスロットフィリングデータ上でエンドツーエンドにモデルを学習。未知概念の明示的アノテーションは不要。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのスロットフィリングモデルにディリクレ事前分布を統合することで、未知概念検出のためのトークンレベルの不確実性を効果的にモデル化できるか？
• RQ2 ディリクレ集中パラメータの多タスク学習によるキャリブレーションは、不確実性推定のロバストネスを向上させるか？
• RQ3 本手法は、SOTAベースラインと比較して、現実世界のOOD概念検出においてどの程度の性能を発揮するか？
• RQ4 発話構文情報を組み込むことで、未知概念抽出の性能はどの程度向上するか？
• RQ5 本手法は、Transformer や BERT を含む他のモデルに対しても一般化可能か？

主な発見

• コンセプトラーニングベンチマークでは、ディリクレエントロピーと発話構文を組み合わせた場合、SOTA比で5.04%の絶対的F1スコア向上を達成。
• ATISデータセットでは、SOTA比で3.62%のF1スコア向上を達成。Snipsでは5.41%の向上。
• コンセプトラーニングデータセットでは、最大8.18%のF1スコア向上を達成。特に新しい概念に含まれるOOV語がある場合に顕著に効果的。
• ディリクレエントロピーは、ドロップアウト摂動、ガウスノイズ、上位候補の分散といったベースライン不確実性指標を上回る性能を示す。
• 構文情報の追加は、新しい概念がしばしば名詞句であるコンセプトラーニングデータセットにおいて顕著な性能向上をもたらすが、Snips や ATIS では単語単位または非フレーズ型の概念であるため、効果が限定的。
• 統計的有意性検定により、最良の手法（キャリブレーション済み事前分布RNN + ディリクレエントロピー + 構文）が、すべてのデータセットですべてのSOTA競合手法を有意に上回ることが確認された（p値 < 0.01）。