[論文レビュー] Distribution Calibration for Out-of-Domain Detection with Bayesian Approximation

Yanan Wu, Zhiyuan Zeng+4 more|arXiv (Cornell University)|Sep 14, 2022

Software Engineering Research被引用数 9

ひとこと要約

本稿では、モンテカルロドロップアウトを用いたベイジアンOOD検出フレームワークを提案する。この手法により、ソフトマックスベースのモデルにおける分布の不確実性がキャリブレーションされ、分布外（OOD）サンプルに対する過信度が顕著に低減される。ドロップアウトを固定した複数回の順方向伝搬の平均化により、MSPと比較して推論時間は0.41%増加にとどまりながら、OOD F1スコアが33.33%向上し、OOD入力に対して予測が一様に近づくことが実証された。

ABSTRACT

Out-of-Domain (OOD) detection is a key component in a task-oriented dialog system, which aims to identify whether a query falls outside the predefined supported intent set. Previous softmax-based detection algorithms are proved to be overconfident for OOD samples. In this paper, we analyze overconfident OOD comes from distribution uncertainty due to the mismatch between the training and test distributions, which makes the model can't confidently make predictions thus probably causing abnormal softmax scores. We propose a Bayesian OOD detection framework to calibrate distribution uncertainty using Monte-Carlo Dropout. Our method is flexible and easily pluggable into existing softmax-based baselines and gains 33.33\% OOD F1 improvements with increasing only 0.41\% inference time compared to MSP. Further analyses show the effectiveness of Bayesian learning for OOD detection.

研究の動機と目的

• 訓練済みのインディメンション（IND）データに基づくソフトマックスベースのOOD検出において、分布外（OOD）サンプルに対して過剰に高い信頼度を割り当てる問題に対処すること。
• 過信度の原因が、訓練データとテストデータの分布の不一致に起因する分布の不確実性に帰属することを分析すること。
• パrameterの追加や再訓練なしに、不確実性をキャリブレーションできる柔軟でプラグイン可能なベイジアンフレームワークを開発すること。
• モンテカルロドロップアウトがOOD検出性能を向上させるとともに、推論オーバーヘッドを低く保てるかを実験的に検証すること。
• 複数回の確率的順方向伝搬における予測の平均化が、OOD入力に対して一様で信頼性の高い予測をもたらすことを示すこと。

提案手法

• ドロップアウトを用いた標準的な訓練手順で、ラベル付きINDデータに基づきインディメンション分類器を学習する。
• 推論段階では、固定されたドロップアウト率（例：0.7）を用いて、複数回の確率的順方向伝搬（モンテカルロドロップアウト）を実行し、異なるモデル出力をサンプリングする。
• 複数回の順方向伝搬からの正規化済みロジットを平均化し、キャリブレーション済みの予測分布を取得する。
• 平均化された出力分布を最終予測として用い、分布外（OOD）入力に対して不確実性キャリブレーションの効果により一様に近づく傾向を示す。
• MSPやエントロピーなどの既存のソフトマックスベースのOOD検出器に、アーキテクチャの変更なしにベイジアン近似を統合する。
• 予測分布と一様分布との間のKLダイバージェンスを用いて、キャリブレーションの質を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜソフトマックスベースのOOD検出手法は、事前知識のない分布外（OOD）サンプルに対して過信度の高い予測を出力するのか？
• RQ2 異なるランダムシード下でのモデルのばらつきに起因する分布の不確実性が、OOD検出における過信度にどの程度寄与しているのか？
• RQ3 モンテカルロドロップアウトを用いることで、分布の不確実性を効果的にキャリブレーションし、OOD検出性能を向上させられるか？
• RQ4 モンテカルロサンプル数とドロップアウト率の組み合わせが、キャリブレーション精度と推論コストのトレードオフにどのように影響するか？
• RQ5 このベイジアン近似手法は、LOF や GDA などの最先端の距離ベースのOOD検出手法を上回るか、同等の性能を発揮するか？

主な発見

• 10個のモンテカルロサンプルを用いた場合、MSPと比較して推論時間は0.41%増加にとどまるが、OOD F1スコアは33.33%向上した。
• サンプリング回数を増やすに従い、OODサンプルにおける予測分布と一様分布とのKLダイバージェンスが顕著に低下（平均値が3.63から2.59に減少）し、キャリブレーション効果が確認された。
• ドロップアウト率0.7が、低いレートよりも優れたOOD性能を示した。これは、より強い特徴の摑み直しにより、OOD予測の一様性が向上するためである。
• 100回のサンプリングが、性能と効率のバランスに最適であり、1000回を超えると利得が著しく減少した。
• INDとOODの信頼度スコア分布の重なりが顕著に減少し、特にエントロピーベースの指標において分離性が向上した。
• OOD入力に対する平均出力分布は一様に収束する一方で、IND予測は一貫性があり信頼性が保たれるため、本手法のキャリブレーション目的が正当化された。