[論文レビュー] Classification Confidence Estimation with Test-Time Data-Augmentation

Yuval Bahat, Gregory Shakhnarovich|arXiv (Cornell University)|Jun 30, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 8

ひとこと要約

本論文は、分類の信頼性推定のための新しいテスト時データ拡張手法を提案する。この手法は、入力画像に意味を保つ画像変換を適用し、これらの変種における分類器の出力を集約することで、予測の信頼性を推定する。再訓練を必要とせず、ImageNet や他のベンチマークでも最先端の性能を達成し、視覚モデルにおける不確実性推定の即挿しソリューションを提供する。

ABSTRACT

Machine learning plays an increasingly significant role in many aspects of our lives (including medicine, transportation, security, justice and other domains), making the potential consequences of false predictions increasingly devastating. These consequences may be mitigated if we can automatically flag such false predictions and potentially assign them to alternative, more reliable mechanisms, that are possibly more costly and involve human attention. This suggests the task of detecting errors, which we tackle in this paper for the case of visual classification. To this end, we propose a novel approach for classification confidence estimation. We apply a set of semantics-preserving image transformations to the input image, and show how the resulting image sets can be used to estimate confidence in the classifier's prediction. We demonstrate the potential of our approach by extensively evaluating it on a wide variety of classifier architectures and datasets, including ResNext/ImageNet, achieving state of the art performance. This paper constitutes a significant revision of our earlier work in this direction (Bahat & Shakhnarovich, 2018).

研究の動機と目的

• 安全上の重要な応用分野における誤分類を防ぐために、視覚分類器における信頼性の高い信頼性推定の必要性に対処すること。
• テスト時における真のラベルの入手が不可能な状況でも、シーン固有の分類器の正答率を推定すること。
• アーキテクチャの変更や内部アクセスを一切必要とせず、あらゆる事前学習済み分類器と連携できる手法を開発すること。
• 局所的な分布的不確実性の代理として、変換された画像セットを活用することで、誤検出性能を向上させること。
• 信頼性推定の評価における解釈可能性と情報量を高めるためのメトリクスの改善を導入すること。

提案手法

• 入力画像に意味を保つ画像変換（例：反転、シフト）の集合を適用し、仮想的な画像セットを生成する。
• 真のラベルが不要な状況でも、すべての変換済み画像に対する分類器の出力を集約して信頼性スコアを計算する。
• 信頼性推定性能をさらに向上させるために、ブートストラップ手法と新しい順位付けアルゴリズムを組み合わせる。
• 重み付き平均または投票方式を用いて、変換済み画像間の予測を集約し、信頼性を推定する。
• 信頼性推定性能の評価における解釈可能性と情報量を高めるために、修正された評価メトリクスを導入する。
• ベース分類器の再訓練や変更を一切行わず、推論時のみにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 意味を保つ変換を用いたテスト時データ拡張は、画像分類器の信頼性推定を改善できるか？
• RQ2 真のラベルが入手できない状況でも、変換済み画像のバリエーションを活用することで、シーン固有の正答率を推定できるか？
• RQ3 提案手法は、多様なアーキテクチャやデータセットにおいて、既存の最先端手法を上回る性能を発揮するか？
• RQ4 この手法は、アーキテクチャの変更なしに、あらゆる事前学習済み分類器に普遍的に適用可能か？
• RQ5 提案された信頼性推定フレームワークは、不確実性の定量化と全体の分類精度の両方にどのような影響を及ぼすか？

主な発見

• 本手法は、ResNeXtを用いた ImageNet において最先端の性能を達成し、$D_{ ho}$ セットにおいて、先行研究の最先端手法比で AUPR が 3.39% 向上した。
• ImageNet のトップ-1タスクにおいて、BS($D_{ ho}$)バージョンを用いることで、AUROC が 50.8 から 58.1 へ 7.26 ポints 向上した。
• STL-10 において、データ拡張を適用した Wide-ResNet を用いる場合、AORC が 75.8 から 79.7 へ 3.95% 向上した。
• 再訓練を伴わず、変換済み画像のアンサンブルを考慮することで、分類精度が向上した。
• 提案されたメトリクスの修正により、解釈性が向上し、より情報量の多い評価結果が得られた。
• 本手法は、内部アクセスや再訓練を一切必要とせず、あらゆる事前学習済み分類器に普遍的に適用可能である。