[論文レビュー] Dense outlier detection and open-set recognition based on training with noisy negative images

Petra Bevandić, Ivan Krešo+2 more|arXiv (Cornell University)|Jan 22, 2021

Anomaly Detection Techniques and Applications参考文献 43被引用数 11

ひとこと要約

本論文は、一般用途のデータセット（例：ImageNet-1k）から得たノイズの多い負例画像をインライナー学習画像に貼り付けることで、密度的なオープンセット認識および外れ値検出のための新規手法を提案する。インライナー領域とランダムに貼り付けられた負例パッチを区別させることで、モデルは複数のベンチマーク（FishyscapesおよびWildDash 1を含む）で最先端の性能を達成し、リアルタイム推論が可能な単一のフォワードパスにより、mIoUおよびAUROCスコアも競争力を持つ。

ABSTRACT

Deep convolutional models often produce inadequate predictions for inputs foreign to the training distribution. Consequently, the problem of detecting outlier images has recently been receiving a lot of attention. Unlike most previous work, we address this problem in the dense prediction context in order to be able to locate outlier objects in front of in-distribution background. Our approach is based on two reasonable assumptions. First, we assume that the inlier dataset is related to some narrow application field (e.g.~road driving). Second, we assume that there exists a general-purpose dataset which is much more diverse than the inlier dataset (e.g.~ImageNet-1k). We consider pixels from the general-purpose dataset as noisy negative training samples since most (but not all) of them are outliers. We encourage the model to recognize borders between known and unknown by pasting jittered negative patches over inlier training images. Our experiments target two dense open-set recognition benchmarks (WildDash 1 and Fishyscapes) and one dense open-set recognition dataset (StreetHazard). Extensive performance evaluation indicates competitive potential of the proposed approach.

研究の動機と目的

• ドメインシフト下でのセマンティックセグメンテーションなどの密度的予測タスクにおける外れ値領域の検出という課題に対処すること。
• 明示的な外れ値アノテーションを必要とせずに、未知または分布外の入力への一般化を向上させること。
• テストに依存しない負例データを用いて、外部の視覚的パターンに対するモデルの頑健性を高める訓練戦略の開発。
• クローズドセットモデルと共通の特徴を共有するマルチタスクアーキテクチャにより、リアルタイムの密度的オープンセット認識を可能とすること。
• 大および小の異常を含む、さまざまな外れ値タイプを持つ多様なベンチマークで、本手法の評価を実施すること。

提案手法

• 本手法は、一般用途のデータセット（例：ImageNet-1k）から得たジャイターパッチをインライナー学習画像に貼り付けることで、ノイズの多い負例サンプルを導入する。
• 負例パッチのランダムな貼り付けにより、インライナーとアウトライアーの間の空間的境界を学習させることで、未知領域の局在化が向上する。
• モデルは、セマンティックセグメンテーションと外れ値検出のヘッド間で特徴を共有するマルチタスク設定で訓練される。
• バッチ正規化の安定化を図るため、各バッチにインライナーと負例パッチをほぼ同等の割合で使用するバランスの取れた訓練戦略が採用される。
• セグメンテーションと外れ値予測の両方を単一のフォワードパスで実行でき、リアルタイムデプロイメントが可能となる。
• 同じ負例データセットと訓練手順を用いて、データセットに特化したハイパーパramータチューニングなしに、全データセットに一貫して適用可能である。

実験結果

リサーチクエスチョン

• RQ1 多様な一般用途のデータセット（例：ImageNet-1k）から得たノイズの多い負例パッチを用いた訓練は、セマンティックセグメンテーションにおける密度的外れ値検出を改善できるか？
• RQ2 負例パッチのランダムな貼り付けは、既知領域と未知領域の間の空間的境界を検出する能力を向上させるか？
• RQ3 クローズドセットセグメンテーションとオープンセット外れ値検出の間で特徴を共有することは、セグメンテーション精度を損なわず性能向上を実現できるか？
• RQ4 Fishyscapes Lost and FoundとWildDash 1のような、大規模および小規模な外れ値を含むベンチマークにおいて、本手法はどのように性能を発揮するか？
• RQ5 再トレーニングやハイパーパramータ調整なしに、StreetHazardのような顕著なドメインシフトを示すデータセットに対しても、本手法は一般化可能か？

主な発見

• 提案手法は、Fishyscapes Staticベンチマークで最先端の性能を達成し、公式リーダーボードで1位となった。
• WildDash 1では、より少ない監視信号を用いながらも、トップモデルに次ぐ接近した順位を達成した。
• Fishyscapes Lost and Foundでは、AP（19.74）およびFPR95（56.19）の競争力あるスコアを達成し、max-softmaxベースラインを上回った。
• StreetHazardでは、APスコア19.74（2位）およびFPR95（56.19）の競争力あるスコアを達成し、大規模なドメインシフトに対しても頑健であることが示された。
• FishyscapesではAUROCが88.86、StreetHazardでは87.00を記録し、優れた外れ値検出能力を示した。
• 大規模な外れ値に対してはベースラインを著しく上回ったが、小規模な外れ値ではその優位性が低下し、max-softmaxと組み合わせることでさらなる向上が得られた。