[論文レビュー] Confidence estimation of classification based on the distribution of the neural network output layer

Abdel Aziz Taha, Leonhard Hennig+1 more|arXiv (Cornell University)|Oct 14, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、出力層のログティス分布を分析することで、モデルの再トレーニングを必要とせずに予測の信頼性を推定する手法を提案する。KRTおよびWDFという2つの信頼性推定器を導入し、特にウェブスクレイピングによる知識抽出のようなノイズが多く、現実世界のデータにおいて、再現性を高める。

ABSTRACT

One of the most common problems preventing the application of prediction models in the real world is lack of generalization: The accuracy of models, measured in the benchmark does repeat itself on future data, e.g. in the settings of real business. There is relatively little methods exist that estimate the confidence of prediction models. In this paper, we propose novel methods that, given a neural network classification model, estimate uncertainty of particular predictions generated by this model. Furthermore, we propose a method that, given a model and a confidence level, calculates a threshold that separates prediction generated by this model into two subsets, one of them meets the given confidence level. In contrast to other methods, the proposed methods do not require any changes on existing neural networks, because they simply build on the output logit layer of a common neural network. In particular, the methods infer the confidence of a particular prediction based on the distribution of the logit values corresponding to this prediction. The proposed methods constitute a tool that is recommended for filtering predictions in the process of knowledge extraction, e.g. based on web scrapping, where predictions subsets are identified that maximize the precision on cost of the recall, which is less important due to the availability of data. The method has been tested on different tasks including relation extraction, named entity recognition and image classification to show the significant increase of accuracy achieved.

研究の動機と目的

• 一般化が失敗する現実世界の応用において、ニューラルネットワーク予測の信頼性推定が不十分であるという問題に対処する。
• 既存のニューラルネットワークを変更せず、再トレーニングを要せず、予測の信頼性を推定する手法を開発する。
• 大量でノイズが多く多様性のあるデータが存在する知識抽出パイプラインにおいて、予測の精度を最大化するためのフィルタリングを可能にする。
• フィルタリングされた予測サブセットが所定の信頼水準（例：90%、95%、99%）を満たすようにするしきい値のメカニズムを提供する。
• 自然言語処理（関係抽出、NER）およびコンピュータビジョン（画像分類）を含む多様なタスクへの適用可能性を示す。

提案手法

• トレーニング済みニューラルネットワークの出力層におけるログティス値の分布を用いて、予測の信頼性を推定する。
• 2つの信頼性推定関数を提案：KRT（ログティスの尖度と歪度に基づく）およびWDF（ログティスの重み付き分布に基づく）。
• モデルの元の正答率と信頼性推定器の出力を用いて、所定の信頼水準に対応する信頼性しきい値を計算する。
• しきい値を適用して予測を2つのサブセットに分類：高信頼度（使用対象）および低信頼度（破棄対象）。
• しきい値を用いて、元のモデル性能にかかわらず、フィルタリングされたサブセットが所定の信頼水準（例：95%の正答率）を満たすようにする。
• 関係抽出（TACRED、SemEval2010）、名前付きエンティティ認識、画像分類（VGG16を用いたネコ対イヌ）の複数のタスクで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルを変更せずに、出力層のログティス分布がニューラルネットワークの予測信頼性を信頼性高く推定できるか？
• RQ2 提案された信頼性推定器（KRTおよびWDF）は、低正答率でノイズの多い環境下で予測をフィルタリングする際に、どれほど精度を向上させられるか？
• RQ3 フィルタリングされた予測サブセットが所定の信頼水準（例：95%）を満たすしきい値を計算できるか？
• RQ4 この手法は自然言語処理およびコンピュータビジョンを含む多様なタスクに一般化可能か？
• RQ5 モデルの正答率と信頼水準に応じて、高信頼度予測の割合（利用効率）はどのように変化するか？

主な発見

• 全テスト信頼水準（90%、95%、99%）において、WDF推定器はKRTを上回り、精度および利用効率の両面で優れている。
• 強化された正答率（E.ACCU）は、元のモデル正答率を著しく上回り、特に正答率が低いモデルにおいて顕著な精度向上が確認された。
• 利用効率は極端なケース（例：非常に低いモデル正答率と非常に高い信頼水準）を除き、妥当な水準を維持している。
• 元のモデル正答率が低くても、低信頼度予測をフィルタリングすることで、知識抽出タスクにおける精度が著しく向上した。
• このアプローチはテキストベースの関係抽出および画像分類を含む多様な分野で有効であり、一般化の可能性を裏付けた。
• しきい値処理メカニズムにより、元のモデル性能にかかわらず、フィルタリングされた予測サブセットが所定の信頼水準に一致することが確認された。