[論文レビュー] Inhibited Softmax for Uncertainty Estimation in Neural Networks

Marcin Możejko, Mateusz Susik+1 more|arXiv (Cornell University)|Oct 3, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用数 24

ひとこと要約

この論文では、モデルの不確実性を推定するための Inhibited Softmax を提案する。標準のソフトマックスに学習可能な定数入力を追加することで、不確実性を表す追加出力を得る。この手法は追加パラメータや複数回の順方向伝搬、分布外データを必要とせず、最先端の手法と同等の性能を発揮するとともに、画像認識およびセンチメント分析の両タスクでベースラインを上回る性能を示す。

ABSTRACT

We present a new method for uncertainty estimation and out-of-distribution detection in neural networks with softmax output. We extend softmax layer with an additional constant input. The corresponding additional output is able to represent the uncertainty of the network. The proposed method requires neither additional parameters nor multiple forward passes nor input preprocessing nor out-of-distribution datasets. We show that our method performs comparably to more computationally expensive methods and outperforms baselines on our experiments from image recognition and sentiment analysis domains.

研究の動機と目的

• 追加パラメータや複数回の順方向伝搬を必要としない、シンプルで効率的なニューラルネットワークにおける不確実性推定手法の開発。
• 訓練時に adversarial または OOD データセットに依存せずに、分布外検出を可能にする。
• 拡張されたソフトマックス層を用いて、数学的に解釈可能な不確実性測度を提供する。
• 予測精度を維持したまま、ニューラルネットワークにおける不確実性の近似を改善する。
• より複雑なベイジアン的手法やアンサンブルベースの手法と同等の性能を示すことを実証する。

提案手法

• 標準のソフトマックス層を、定数入力を追加し、不確実性を表す追加出力ヘッドを持つ Inhibited Softmax 層に置き換える。
• 追加出力は学習中に最適化され、モデルの信頼度または不確実性の指標として解釈される。
• Inhibited Softmax 層は最終分類層に適用され、1回の順方向伝搬で不確実性推定が可能になる。
• ソフトマックス計算に定数入力を1つ追加する以外に、ネットワークアーキテクチャの変更は不要である。
• 標準的なバックプロパゲーションと互換性があり、最終層に追加の学習可能なパラメータを導入しない。
• 手法は画像分類（MNIST, CIFAR-10）およびセンチメント分析（IMDB）のベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 追加パラメータや OOD データを必要とせず、単一の順方向伝搬でニューラルネットワークにおける不確実性を推定できるか？
• RQ2 Inhibited Softmax の出力は、モンテカルロドロップアウトやベイジアンニューラルネットワークの不確実性測度と比較してどうなるか？
• RQ3 不確実性推定を実施しても、予測精度が維持されたり向上したりするか？
• RQ4 最小限の計算コストで、分布外サンプルを効果的に検出できるか？
• RQ5 追加の Inhibited Softmax 出力を有効な不確実性測度として解釈する数学的根拠は何か？

主な発見

• Inhibited Softmax は、MNIST において AUC 0.987 を達成し、MCD の 0.982 や IS の 0.983 を上回る。
• IMDB センチメント分析データセットでは、AUC 0.689 を達成し、ベースラインを上回り、他の手法と同等または上回る性能を示した。
• 予測精度は高い水準を維持しており、IMDB ではテスト精度 0.885、CIFAR-10 では 0.875 を記録し、ベースラインおよび最先端モデルと同等の水準であった。
• Inhibited Softmax は、モンテカルロドロップアウトやベイジアンニューラルネットワークとは異なり、1回の順方向伝搬で十分であり、追加パラメータも不要である。
• 可視化結果から、VAE の潜在空間全体において、Inhibited Softmax とモンテカルロドロップアウトの不確実性推定が強く類似していることが示された。
• 感情分析における浅いネットワークでは特に優れた性能を示し、さらにチューニングを施せば深層アーキテクチャに対しても有効である可能性がある。