[論文レビュー] Confidence from Invariance to Image Transformations

Yuval Bahat, Gregory Shakhnarovich|arXiv (Cornell University)|Apr 2, 2018

Anomaly Detection Techniques and Applications参考文献 13被引用数 15

ひとこと要約

本論文は、自然画像変換に対する視覚的分類器の不変性を測定することで、分類エラーおよび新規入力をブラックボックス手法で検出する手法を提案する。同じ入力の変換版における分類器出力にマルチレイヤーパーセプトロン（MLP）を訓練し、STL-10、CIFAR-100、ImageNetの各データセットにおいて分類エラーおよび新規入力検出で最先端性能を達成した。特に、ImageNetにおけるエラー検出で初のSOTAを達成した。

ABSTRACT

We develop a technique for automatically detecting the classification errors of a pre-trained visual classifier. Our method is agnostic to the form of the classifier, requiring access only to classifier responses to a set of inputs. We train a parametric binary classifier (error/correct) on a representation derived from a set of classifier responses generated from multiple copies of the same input, each subject to a different natural image transformation. Thus, we establish a measure of confidence in classifier's decision by analyzing the invariance of its decision under various transformations. In experiments with multiple data sets (STL-10,CIFAR-100,ImageNet) and classifiers, we demonstrate new state of the art for the error detection task. In addition, we apply our technique to novelty detection scenarios, where we also demonstrate state of the art results.

研究の動機と目的

• 事前学習済みの視覚的分類器に対して再訓練やアーキテクチャ変更を必要とせず、任意の分類器で動作する汎用的なエラー検出手法の開発。
• 最大のソフトマックススコアに依存するのではなく、自然画像変換における出力安定性を分析することで、信頼度推定を向上させること。
• 標準的な分類器が失敗する、アウトオブドメインおよびアウトオブクラスの状況を含む、新規性検出へのアプローチの拡張。
• ImageNetのような大規模ベンチマークにおいて、エラー検出の新たなSOTAを確立すること。過去の研究ではこの分野は未開拓であった。

提案手法

• 同じ入力画像の複数の変換版における分類器出力（例：ソフトマックス出力）を収集し、多様な自然画像変換を用いる。
• 変換による分類器出力のばらつきを表現し、正しい予測と誤った予測を区別する不変性のパターンを捉える。
• 変換された出力パターンに基づいて誤分類の確率を予測するバイナリ検出器として、マルチレイヤーパーセプトロン（MLP）を訓練する。
• 本手法は完全にブラックボックスである。内部構造や勾配の情報は一切不要で、変換された入力に対する分類器の出力のみを必要とする。
• 新規性検出のため、同じ不変性信号を用いて未知のドメインやクラスからの入力を検出できるようにアレンジする。
• 未知のドメインのデータ（例：CIFAR-100を用いてSVHNの検出を向上）を用いたクロストレーニングにより、ドメインシフトに強い検出器をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 分類器の内部構造にアクセスせずに、自然画像変換における出力不変性を用いて誤分類を検出可能か？
• RQ2 変換における安定性を測ることで、最大のソフトマックススコアに依存するのではなく、エラー検出性能が向上するか？
• RQ3 この不変性に基づく手法は、アウトオブドメインおよびアウトオブクラスの状況を含む新規性検出に一般化可能か？
• RQ4 過去のSOTA手法が強く結果を出せなかった大規模ベンチマーク（例：ImageNet）において、本手法は有効か？

主な発見

• STL-10のエラー検出ベンチマークにおいて、本手法は0.902のAUROCを達成し、DBC や MC-dropout を含む先行手法を上回った。
• ResNet-50を用いたImageNetにおいて、本手法は0.879のAUROCを達成し、このデータセットにおけるエラー検出で初の報告SOTAとなった。
• アウトオブドメインの新規性検出（例：STL-10分類器にSVHN画像を入力）において、本手法はクロストレーニングを施した場合に0.860のAUROCを達成し、MSR や他のベースラインを著しく上回った。
• 同じデータセット内での新規クラス検出（例：2つのクラスを新規クラスとして扱う）において、本手法は平均で0.762のAUROCを達成し、MSRの0.715に比べて顕著な改善を示した。
• クロストレーニングを施したバージョン（'Ours, Cross-train'）は、すべての設定で一貫して性能を向上させ、ドメインに適したデータ拡張が検出器の一般化に寄与することを示した。