[論文レビュー] On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation

Nicolas Brosse, Carlos Riquelme+3 more|arXiv (Cornell University)|Jan 22, 2020

Anomaly Detection Techniques and Applications参考文献 73被引用数 17

ひとこと要約

本論文では、事前学習されたバックボーンによって抽出された特徴量上で単純な線形モデルのアンサンブルを用いることで、深層ニューラルネットワークにおける表現学習と不確実性推定を分離する、最終層に特化したアルゴリズムの族を提案する。実験の結果、特にImageNetにおいて、選択的分類および分布外検出の面で、標準的なSGDベースラインを著しく上回り、計算コストの増加は最小限であり、より深い不確実性モデリングの恩恵も限定的であることが示された。

ABSTRACT

Uncertainty quantification for deep learning is a challenging open problem. Bayesian statistics offer a mathematically grounded framework to reason about uncertainties; however, approximate posteriors for modern neural networks still require prohibitive computational costs. We propose a family of algorithms which split the classification task into two stages: representation learning and uncertainty estimation. We compare four specific instances, where uncertainty estimation is performed via either an ensemble of Stochastic Gradient Descent or Stochastic Gradient Langevin Dynamics snapshots, an ensemble of bootstrapped logistic regressions, or via a number of Monte Carlo Dropout passes. We evaluate their performance in terms of \emph{selective} classification (risk-coverage), and their ability to detect out-of-distribution samples. Our experiments suggest there is limited value in adding multiple uncertainty layers to deep classifiers, and we observe that these simple methods strongly outperform a vanilla point-estimate SGD in some complex benchmarks like ImageNet.

研究の動機と目的

• 深層学習における不確実性の定量化の課題に取り組むこと、特に標準モデルが自信を誤って表現する傾向があること。
• 現代の深層ネットワークにおける不確実性推定の計算コストを、性能を落とさずに低減すること。
• 最終層以降に不確実性層を追加することで、有意義な向上が得られるかどうかを調査すること。
• 事前学習済み特徴抽出後の不確実性推定のための単純で効率的な手法を評価すること。
• 深層学習における完全ベイジアン法や複雑な不確実性手法の実用的でスケーラブルな代替手段を提供すること。

提案手法

• 本手法は、特徴抽出のための深層ニューラルネットワークをエンドツーエンドで学習し、その特徴量を固定した上で最終層の線形分類器を学習することで、表現学習と不確実性推定を分離する。
• 不確実性は、固定された特徴量上で4つの手法（SGDスナップショット、SGLD、ブートストラップ、モンテカルロドロップアウト）を用いて訓練されたモデルのアンサンブルによって推定される。
• 各入力に対して、アンサンブル全体における予測の分布が出力され、分散やエントロピーを用いて不確実性推定が可能になる。
• 最終層のモデルが小さく高速に学習可能であるという事実を活用し、低コストで明示的な不確実性定量化が実現できる。
• 本手法は、リスク・カバレッジトレードオフを評価する選択的分類と、AUROCおよびAUPR指標を用いた分布外検出の両方で評価されている。
• フレームワークはKerasおよびTensorFlowで実装されており、コードは公開済みである。

実験結果

リサーチクエスチョン

• RQ1 表現学習と不確実性推定を分離することで、より良い不確実性定量化が達成されるか？
• RQ2 実際の応用において、異なる最終層不確実性推定手法（SGD、SGLD、ブートストラップ、MCドロップアウト）の性能はどのように比較されるか？
• RQ3 最終分類層以降に不確実性層を追加することで、顕著な利点が得られるか？
• RQ4 単純な最終層アンサンブルが、ImageNetのような実世界のベンチマークで、標準的なポイント推定SGDモデルを上回るか？
• RQ5 これらの手法は、ベースラインモデルと比較して、分布外サンプルをどれほどうまく検出できるか？

主な発見

• 最終層アンサンブル手法は、ImageNetにおける選択的分類において、標準的なSGDベースラインを著しく上回り、低いリスクで高いカバレッジを達成した。
• CIFAR-100では、SGLDに基づく最終層手法が、分布外検出におけるAUROCで0.794を達成し、ベースラインのSGD手法（0.789）を上回った。
• MNISTでは、MCドロップアウトを用いた最終層手法が、AUPRで0.935を達成し、ベースラインのSGD（0.905）を上回り、強力なOOD検出能力を示した。
• ブートストラップおよびMCドロップアウト手法は、CIFAR-100におけるAUPRアウトで、それぞれベースライン比1.052の向上を示し、最も顕著な改善を示した。
• 複数の不確実性層を追加しても価値が限定的であることが示唆されており、既に最終層手法がはるかに低い計算コストで優れた性能を達成している。
• 本手法は、追加の推論コストを最小限に抑えつつ、優れた性能を発揮しており、安全が求められる応用分野における実用的で実装可能な手法である。