[論文レビュー] DenseHybrid: Hybrid Anomaly Detection for Dense Open-set Recognition

Matej Grcić, Petra Bevandić+1 more|arXiv (Cornell University)|Jul 6, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

DenseHybridは、生成的尤度推定と非正規化分布を用いた判別的データ事後分布予測を組み合わせることで、計算量の大きな増加がなく、不完全な正規化定数を避けることのできる、密度的なオープンセット認識のための新規ハイブリッド異常検出フレームワークを提案する。入出力分布の両方のデータで訓練することで、標準的なセマンティックセグメンテーションモデルと比較してほとんど計算コストが増加しないまま、密度的異常検出ベンチマークで最先端の性能を達成する。

ABSTRACT

Anomaly detection can be conceived either through generative modelling of regular training data or by discriminating with respect to negative training data. These two approaches exhibit different failure modes. Consequently, hybrid algorithms present an attractive research goal. Unfortunately, dense anomaly detection requires translational equivariance and very large input resolutions. These requirements disqualify all previous hybrid approaches to the best of our knowledge. We therefore design a novel hybrid algorithm based on reinterpreting discriminative logits as a logarithm of the unnormalized joint distribution $\hat{p}(\mathbf{x}, \mathbf{y})$. Our model builds on a shared convolutional representation from which we recover three dense predictions: i) the closed-set class posterior $P(\mathbf{y}|\mathbf{x})$, ii) the dataset posterior $P(d_{in}|\mathbf{x})$, iii) unnormalized data likelihood $\hat{p}(\mathbf{x})$. The latter two predictions are trained both on the standard training data and on a generic negative dataset. We blend these two predictions into a hybrid anomaly score which allows dense open-set recognition on large natural images. We carefully design a custom loss for the data likelihood in order to avoid backpropagation through the untractable normalizing constant $Z(θ)$. Experiments evaluate our contributions on standard dense anomaly detection benchmarks as well as in terms of open-mIoU - a novel metric for dense open-set performance. Our submissions achieve state-of-the-art performance despite neglectable computational overhead over the standard semantic segmentation baseline.

研究の動機と目的

• 純粋な生成的または判別的アプローチに起因する限界を解消すること、これらは明確な失敗モードを示す。
• 大規模な自然画像におけるピクセル単位の解像度で動作するハイブリッドモデルをエンドツーエンドで訓練できること。
• 尤度推定における不完全な正規化定数を経由するバックプロパゲーションを回避する手法の設計。
• 入力分布の外側のパターンを検出しつつ、インライナーの高精度を維持できるようにすることで、実世界の展開における耐性を高めること。
• 密度的オープンセット認識のシナリオを評価するための新しい評価指標、open-mIoUを導入すること。

提案手法

• モデルは、クラス事後分布 P(y|x)、データ事後分布 P(d_in|x)、非正規化データ尤度 p̂(x) の3つの密度的予測を生成する共通の畳み込みバックボーンを用いる。
• 非正規化尤度 p̂(x) は、分類ヘッドからのロジットの指数和として計算され、不完全なパーティション関数 Z(θ) の計算を回避する。
• データ事後分布 P(d_in|x) は、一般化されたネガティブデータセット（例：ADE20k）を用いて、インライナーとアウトライアーを区別するように別途訓練されたブランチによって学習される。
• ハイブリッド異常スコアは、(1 - P(d_in|x)) / p̂(x) の比として形成され、判別的および生成的信号を統合して検出性能を向上させる。
• Z(θ) を経由する勾配計算を必要としないカスタム損失関数が設計され、安定なエンドツーエンド最適化を可能にする。
• 一般化性能を向上させるために、貼り付けられたネガティブインスタンスを含む混合コンテンツ画像で微調整が行われる。

実験結果

リサーチクエスチョン

• RQ1 生成的尤度と判別的データ事後分布を組み合わせたハイブリッド異常検出フレームワークは、密度的オープンセット認識の性能を向上させることができるか？
• RQ2 不完全な正規化定数を計算せずに、非正規化尤度推定を密度的異常検出に効果的に応用できるか？
• RQ3 判別的および生成的信号を統合することで、単独のアプローチに比べてアウトライアーのピクセルに対してより優れた一般化性能が得られるか？
• RQ4 このようなハイブリッドモデルは、標準的なセマンティックセグメンテーションモデルと比較して、ほとんど計算コストの増加がなくエンドツーエンドで訓練可能か？
• RQ5 提案された open-mIoU 指標は、インライナーのセグメンテーション精度と異常検出性能のトレードオフをどのように反映するか？

主な発見

• DenseHybridは、標準的な密度的異常検出ベンチマークで最先端の性能を達成し、Fishyscapes では 46.1% の AP、StreetHazards では 45.8% の AP を記録し、先行手法を上回る。
• ハイブリッド異常スコア（(1 - P(d_in|x)) / p̂(x)）は、Fishyscapes で 63.8% の AP を達成し、生成的アプローチ（60.5%）および判別的アプローチ（42.9%）をそれぞれ上回る。
• 200万ピクセルの画像において、追加の推論時間は 0.1 GFLOPs および 2.8ms にとどまり、計算コストの増加がほとんどないことが示された。
• StreetHazards データセットでは、DenseHybrid は 45.8% の open-mIoU を達成し、max-logit ベースラインおよび他の最先端手法を大きく上回った。
• アブレーションスタディにより、ハイブリッドスコアは全指標で一貫して性能を向上させ、Fishyscapes では FPR95 を 4.9% まで低下させ、強力な異常検出能力を示した。
• 提案手法はリアルタイム推論を可能とし、RTX3090 では 15.7 フレーム/秒を達成しており、自律システムへの展開に適している。