[論文レビュー] Joint Learning of Domain Classification and Out-of-Domain Detection with Dynamic Class Weighting for Satisficing False Acceptance Rates

Joo-Kyung Kim, Young‐Bum Kim|ArXiv.org|Jun 29, 2018

Topic Modeling参考文献 32被引用数 4

ひとこと要約

本稿では、スプoken対話システムにおけるドメイン分類とオフドメイン（OOD）検出のための共同学習フレームワークを提案する。動的クラスウェイトを用いて、望ましい誤受容率（FAR）を満たしつつ分類精度を最大化する。本手法は、両タスクに共通の表現を用いるBiLSTMベースのモデルを共同で学習し、エポックごとに損失重みを調整してFAR制御を優先する。2つのAlexaデータセットを用いた実験で、分離学習や単一指標最適化に比べて顕著な精度向上を達成した。

ABSTRACT

In domain classification for spoken dialog systems, correct detection of out-of-domain (OOD) utterances is crucial because it reduces confusion and unnecessary interaction costs between users and the systems. Previous work usually utilizes OOD detectors that are trained separately from in-domain (IND) classifiers, and confidence thresholding for OOD detection given target evaluation scores. In this paper, we introduce a neural joint learning model for domain classification and OOD detection, where dynamic class weighting is used during the model training to satisfice a given OOD false acceptance rate (FAR) while maximizing the domain classification accuracy. Evaluating on two domain classification tasks for the utterances from a large spoken dialogue system, we show that our approach significantly improves the domain classification performance with satisficing given target FARs.

研究の動機と目的

• スプoken対話システムにおいて、オフドメイン誤受容率（FAR）を低く保ちつつ、インドメイン分類精度を最大化する課題に対処すること。
• ドメイン分類器とOOD検出器を別々に学習する手法の限界を克服し、FARを満たし制約として優先されないことがしばしばあること。
• ドメイン分類とOOD検出の間で共有表現を活用する共同学習モデルを構築し、性能を向上させること。
• FAR制御と精度最適化のバランスを取るために、固定または事前計算されたウェイトスキームを避けて、学習中にクラスウェイトを動的に調整すること。
• 多様なドメインとOOD発話分布を有する実世界のAlexaデータセットを用いて、手法の評価を行うこと。

提案手法

• 文脈的な発話表現を単語レベルおよび文字レベルの埋め込みから抽出するため、双方向LSTM（BiLSTM）ネットワークを用いた共同ニューラルモデルを訓練する。
• モデルは2つのヘッドを共同で最適化する：インドメイン（IND）分類のための多クラス分類器と、OOD検出のためのバイナリ分類器で、両者とも同じBiLSTM表現を共有する。
• 学習中に、開発セット上の現在のFARに基づいてOODサンプルの損失重みを調整することで、動的クラスウェイトを適用し、FARが目標閾値以下に保たれることを保証する。
• 最適化の目的関数は制約付き問題として定式化される：FAR ≤ T を満たす条件下で精度を最大化する。ここでTは目標誤受容率である。
• 微分不能な制約を近似するため、微分可能関数の代替損失関数を用い、勾配降下法によるエンドツーエンド学習を可能にする。
• OOD損失の相対的重要性を制御する係数αを用いてモデルを訓練し、エポックごとに調整することで目標FARを維持する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン分類とOOD検出の共同学習は、分離学習に比べて全体の分類性能を向上させることができるか？
• RQ2 動的クラスウェイトは、インドメイン精度を最大化しつつ、目標誤受容率（FAR）をよりよく満たすことを可能にするか？
• RQ3 動的ウェイトを用いた共同モデルの性能は、単一指標最適化や固定クラスウェイトを用いたモデルと比べてどうか？
• RQ4 ドメイン分類とOOD検出の間で共有表現学習をすることで、モデルのロバストネスと一般化性能がどの程度向上するか？
• RQ5 提案手法は、ドメイン多様性の高い多様な実世界のスプoken対話データセットにおいて、FARを低く維持できるか？

主な発見

• 21ドメインのAlexaデータセットでは、動的クラスウェイトを用いた共同モデルが、目標FAR 6%で90.67%の精度を達成し、分離モデル（85.69%）や他の共同モデルを顕著に上回った。
• 目標FAR 5%の条件下で、動的ウェイトモデルは90.26%の精度を達成し、動的ウェイトなしの最良ベースライン（87.83%）より2.5%の向上を示した。
• 1,500スキルのAlexaデータセットでは、動的ウェイトモデルが2%の目標FARで79.18%の精度を達成し、分離モデル（77.50%）や他の共同モデルを上回った。
• 動的クラスウェイトを用いたモデルは、全評価閾値（6%、5.5%、5%および2%、1.5%、1%）で目標FARを一貫して維持しながら、精度を最大化した。
• BiLSTMによる発話符号化は、両データセットにおいて単語ベクトルの和算やCNNベースの手法を上回り、特に動的ウェイト条件下で顕著な優位性を示した。
• OOD検出を共同で学習（α > 0）することで、OOD監視なしのモデルに比べて精度が向上した。これは、共有表現学習の利点を示している。