[論文レビュー] Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation

Omer Achrack, Raizy Kellerman+1 more|arXiv (Cornell University)|Oct 5, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 4

ひとこと要約

本稿では、共有特徴量上で異なる損失関数で最適化された複数のヘッドを用いるマルチロス部分アンサンブル手法を提案する。この手法により、不確実性推定を伴う高精度な分類のエンドツーエンド学習が可能となる。本手法は、SVHN、CIFAR10、CIFAR100、ImageNetで最先端の精度を達成するとともに、推論時間は低く抑えられ、不確実性のキャリブレーション性能も優れている。

ABSTRACT

Deep neural networks (DNNs) have made a revolution in numerous fields during the last decade. However, in tasks with high safety requirements, such as medical or autonomous driving applications, providing an assessment of the models reliability can be vital. Uncertainty estimation for DNNs has been addressed using Bayesian methods, providing mathematically founded models for reliability assessment. These model are computationally expensive and generally impractical for many real-time use cases. Recently, non-Bayesian methods were proposed to tackle uncertainty estimation more efficiently. We propose an efficient method for uncertainty estimation in DNNs achieving high accuracy. We simulate the notion of multi-task learning on single-task problems by producing parallel predictions from similar models differing by their loss. This multi-loss approach allows one-phase training for single-task learning with uncertainty estimation. We keep our inference time relatively low by leveraging the advantage proposed by the Deep-Sub-Ensembles method. The novelty of this work resides in the proposed accurate variational inference with a simple and convenient training procedure, while remaining competitive in terms of computational time. We conduct experiments on SVHN, CIFAR10, CIFAR100 as well as Image-Net using different architectures. Our results show improved accuracy on the classification task and competitive results on several uncertainty measures.

研究の動機と目的

• 自動運転や医療診断など、安全性が求められるディープラーニング応用分野における信頼性の高い不確実性推定のニーズに対応すること。
• ベイジアン手法の計算効率の低さと、既存の非ベイジアン不確実性推定手法の高い推論コストという課題を克服すること。
• 推論速度を犠牲にせずに、モデルの精度と不確実性キャリブレーションを向上させること。特にリアルタイムシステムにおいて有効であるようにすること。
• 損失関数に特化したヘッド最適化により、別々の学習フェーズを経ることなく、多様な部分アンサンブルのエンドツーエンド学習を可能にすること。
• ディープアンサンブルやMCドロップアウトの実用的でスケーラブルな代替手法を提供し、標準ベンチマークで競争力のある性能を発揮すること。

提案手法

• 共有特徴抽出器上で複数の部分アンサンブルヘッドを学習し、それぞれが異なる損失関数（例：交差エントロピー、MSE、MAE）で最適化される。
• 推論時においては1回のフォワードパスで十分であり、異なる損失関数で最適化されたヘッドの予測の多様性を活用して不確実性を推定する。
• 変分推論の原則を応用し、各ヘッドを重みの事後分布からのサンプルとみなすことにより、エピステミック不確実性の推定を可能にする。
• Deep Sub-Ensembles（DSE）と同様に共有トランクを再利用することで、推論コストを低く抑えつつ、損失に基づくヘッドの特化によって多様性を高める。
• 後処理モデルや複数回のフォワードパスを必要とせず、標準的な分類学習に不確実性推定を統合する。
• 予測の分散やソフトマックス出力のエントロピーを用いてアンサンブルから不確実性を計算し、分布内データにおける誤分類の検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共有特徴量上で異なる損失関数で最適化された複数のヘッドを学習させることで、分類精度の向上に加え、不確実性推定が可能になるか？
• RQ2 提案手法であるマルチロス部分アンサンブル法は、MCドロップアウト や Deep Ensembles といった既存の非ベイジアン手法よりも優れた不確実性キャリブレーションを達成するか？
• RQ3 推論時間は低く抑えつつ、モデルの精度と不確実性推定性能を向上させることができるか？
• RQ4 異なる損失関数が引き起こす多様性が、不確実性推定とモデルのロバストネスにどのように影響するか？
• RQ5 アンサンブルから導出される不確実性指標は、分布内データに対しても誤分類を効果的に検出できるか？

主な発見

• 提案手法は、SVHN、CIFAR10、CIFAR100、ImageNetで最先端の精度を達成し、これらのベンチマークでMCドロップアウト や DSE を上回っている。
• CIFAR10では、テスト精度95.2%、期待キャリブレーション誤差（ECE）0.113%を達成し、最良の性能を示す手法と同等の性能を発揮している。
• Xceptionを用いたImageNetでは、トップ-1精度82.3%、ECE 0.129%を達成し、大規模データセットでも優れた性能を示している。
• 先行研究と比較してECEが低く抑えられており、すべてのデータセットでECEが5%未満に安定して保持されており、優れたキャリブレーション性能を示している。
• アンサンブルからの不確実性指標は、正しく分類された予測と誤って分類された予測を効果的に分離できており、しきい値を用いた誤分類の検出が可能である。
• 推論コストは低く抑えられており、Deep Ensembles よりも顕著に低い。一方で、不確実性推定性能は競争力があり、精度も向上している。