[論文レビュー] $k$Folden: $k$-Fold Ensemble for Out-Of-Distribution Detection

Xiaoya Li, Jiwei Li+6 more|arXiv (Cornell University)|Aug 29, 2021

Topic Modeling参考文献 49被引用数 5

ひとこと要約

本稿では、外部データを一切用いずにトレーニング中にOOD検出をシミュレートする、NLPにおける分布外（OOD）検出のためのk-フォールドアンサンブルフレームワーク、$k$ Foldenを提案する。k個のサブモデルを訓練し、それぞれがk個のラベルのうち1つをマスクして学習させ、未観測ラベルに対して一様分布へのKLダイバージェンスを最適化することで、確率の平均化による自然なOOD検出を可能にし、ベンチマークデータセットでSOTA性能を達成するとともに、インダメインの精度を維持する。

ABSTRACT

Out-of-Distribution (OOD) detection is an important problem in natural language processing (NLP). In this work, we propose a simple yet effective framework $k$Folden, which mimics the behaviors of OOD detection during training without the use of any external data. For a task with $k$ training labels, $k$Folden induces $k$ sub-models, each of which is trained on a subset with $k-1$ categories with the left category masked unknown to the sub-model. Exposing an unknown label to the sub-model during training, the model is encouraged to learn to equally attribute the probability to the seen $k-1$ labels for the unknown label, enabling this framework to simultaneously resolve in- and out-distribution examples in a natural way via OOD simulations. Taking text classification as an archetype, we develop benchmarks for OOD detection using existing text classification datasets. By conducting comprehensive comparisons and analyses on the developed benchmarks, we demonstrate the superiority of $k$Folden against current methods in terms of improving OOD detection performances while maintaining improved in-domain classification accuracy. The code and datasets can be found at: \url{https://github.com/ShannonAI/kfolden-ood-detection}.

研究の動機と目的

• 外部データに依存しないNLPにおける分布外（OOD）検出のための手法を開発すること。
• テキスト分類におけるOOD検出の課題に、モデルトレーニング中に検出行動をシミュレートすることで対処すること。
• 意味的・非意味的シフトを含むOOD例を有する広く使われているテキスト分類データセットを用いて、OOD検出の包括的ベンチマークを構築すること。
• $k$ Foldenの有効性を既存のOOD検出手法と比較し、OOD検出性能およびインダメイン分類性能の両面で優位性を示すこと。

提案手法

• フレームワークはk個のサブモデルを訓練し、それぞれk-1個のインダメインラベルを学習対象とし、1つのラベルを未知としてマスクする。
• 各サブモデルは二重損失で訓練される：k-1個の可視ラベルに対する交差エントロピー損失と、マスクされた（未知の）ラベルに対する一様分布へのKLダイバージェンス。
• 推論時、最終予測はすべてのk個のサブモデルの確率分布の平均をとることで得られる。
• KLダイバージェンス損失は、未知入力が与えられた際にサブモデルが確率をすべてのラベルに均等に分配するよう促し、OOD検出をシミュレートする。
• 本手法はCNN、LSTM、BERT、RoBERTaなどさまざまなバックボーンモデルと互換性があり、Mahalanobisや温度スケーリングなどの後処理手法とも組み合わせ可能である。
• 本フレームワークは、OOD入力を処理する際に近似的に一様な出力分布を生成するのに対し、インダメイン入力では確率が単一のクラスに集中するため、自然にOOD入力を区別できる。

実験結果

リサーチクエスチョン

• RQ1 外部データや事前に収集されたOOD例に依存せずに、NLPにおけるOOD検出を効果的に行うことができるか？
• RQ2 トレーニング中にOOD検出をシミュレートすることで、モデルの一般化性能および検出性能がどのように向上するか？
• RQ3 k Foldenフレームワークは、OOD検出性能を向上させる一方で、インダメイン分類精度を維持または向上させるか？
• RQ4 本フレームワークは、現実のテキスト分類ベンチマークにおいて、意味的シフト（SS）と非意味的シフト（NSS）の両方のOODシフトタイプに対してどのように性能を示すか？
• RQ5 既存の後処理OOD検出手法と組み合わせることで、$k$ Foldenは性能をさらに向上させることができるか？

主な発見

• $k$ Foldenは、ODIN、Mahalanobis、ドロップアウトベース手法といった強力なベースラインを上回る、OOD検出ベンチマークでSOTA性能を達成した。
• Reuters-2K-8L OODテストセットにおいて、$k$ Folden RoBERTaはMahalanobisと組み合わせた場合、AUPRが97.91、誤差率が56.06%を記録し、RoBERTa単体（AUPR: 97.35、誤差率: 58.14%）を上回った。
• $k$ FoldenとMahalanobisの組み合わせは、すべてのデータセットで一貫して最高の性能を示し、強い相乗効果があることが示された。
• 未観測カテゴリ数が増えるにつれて誤差率は上昇するが、$k$ Foldenはすべての設定で最小の誤差率を維持しており、高比率のOODカテゴリに対してもロバストであることが示された。
• 意味的シフト（SS）データセットでは非意味的シフト（NSS）データセットよりも顕著な性能向上が見られたため、分布シフト下でもより優れた一般化性能を示している。
• 本フレームワークは、OOD検出性能とインダメイン分類精度の両方を向上させた。これは、トレーニング中にOODをシミュレートすることで、モデル全体の信頼性が向上することを示している。