[論文レビュー] Dense Out-of-Distribution Detection by Robust Learning on Synthetic Negative Data

Matej Grcić, Petra Bevandić+2 more|arXiv (Cornell University)|Dec 23, 2021

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本稿では、正常なインラインマニフォールドの境界で合成された負例パッチを生成するために正規化フローを用いる、NFlowJSという新しい手法を提案する。インライン尤度の最大化と、Jensen-Shannon発散を用いた合成外例における予測の一様性を同時に最適化することで、計算コストを最小限に抑えつつ、道路走行およびリモートセンシングのベンチマークで最先端の性能を達成した。これは、GANベースおよびGMMベースの合成データ手法を凌駕する。

ABSTRACT

Standard machine learning is unable to accommodate inputs which do not belong to the training distribution. The resulting models often give rise to confident incorrect predictions which may lead to devastating consequences. This problem is especially demanding in the context of dense prediction since input images may be only partially anomalous. Previous work has addressed dense out-of-distribution detection by discriminative training with respect to off-the-shelf negative datasets. However, real negative data are unlikely to cover all modes of the entire visual world. To this end, we extend this approach by generating synthetic negative patches along the border of the inlier manifold. We leverage a jointly trained normalizing flow due to coverage-oriented learning objective and the capability to generate samples at different resolutions. We detect anomalies according to a principled information-theoretic criterion which can be consistently applied through training and inference. The resulting models set the new state of the art on benchmarks for out-of-distribution detection in road-driving scenes and remote sensing imagery, in spite of minimal computational overhead.

研究の動機と目的

• 密度予測タスクにおける深層学習モデルが分布外（OOD）入力に直面した際の、自信を持って間違った予測を下すという深刻な課題に対処すること。
• 特にリモートセンシングや医療画像処理などの特殊分野では、すべてのOODモードをカバーできないことが一般的な、現実の負例データセットの限界を克服すること。
• ベイジアンモデリング、画像再合成、または補助的な実際の負例データに依存せずに、堅牢で原理的根拠のあるOOD検出を可能にする手法の開発。
• 真の分布境界に代表される合成負例を生成することで、OOD検出の一般化性能とカバー範囲を向上させること。
• リアルタイムでの自律システムへの導入を想定し、計算コストを最小限に抑えつつ高い検出性能を維持すること。

提案手法

• 正規化フローを用いて、インライン尤度を最大化すると同時に、生成されたサンプルにおける予測の一様性を促進することで、合成負例パッチを生成する。
• 正規化フローの最尤推定と、合成外例の最終層のロジットの一様性を促進する判別的損失を組み合わせた共同学習目的関数を採用する。
• トレーニングおよび推論の両段階で、恣意的な指標（例：max-softmax）に代わって、Jensen-Shannon発散（JSD）を頑健なスコア評価基準として用いる。
• 過学習を防ぎ、一般化性能を向上させるために、共同学習の前段階で判別モデルおよび正規化フローの事前学習を実施する。
• 正規化フローを用いた可変解像度の生成をサポートすることで、異なるサイズのOODオブジェクトを現実的にシミュレート可能となる。
• ソフトマックス出力の温度スケーリングを適用し、OOD検出性能を向上させる。最適な値は経験的に特定された。

実験結果

リサーチクエスチョン

• RQ1 実際の負例データが不足している状況において、正規化フローを用いて生成された合成負例データが、密度予測タスクにおけるOOD検出で実際の負例データセットを上回る性能を示せるか？
• RQ2 トレーニングおよび推論の基準としてJensen-Shannon発散を用いることで、恣意的なスコア関数に比べて、より頑健かつ一貫性のあるOOD検出が可能になるか？
• RQ3 判別モデルおよび生成モデルを独立して事前学習することで、一般化性能が向上し、合成外例への過学習が軽減されるか？
• RQ4 正規化フローで生成された負例のカバレッジと分布的品質は、GANで生成されたものやGMMベースの合成データに比べて、OOD検出においてどのように異なるか？
• RQ5 本手法は、標準的な負例データセットが不十分であるリモートセンシング分野において、どの程度ドメインに跨る一般化が可能か？

主な発見

• NFlowJSは、AnomalyTrackおよびObstacleTrackベンチマークで最先端の性能を達成し、AnomalyTrack-valではAP 63.3 ± 0.6、FPR95 19.8 ± 0.8を達成した。また、ObstacleTrack-valではAP 95.8 ± 0.2、FPR95 0.1 ± 0.0を達成した。
• GANベースの合成データ（AnomalyTrack-valでAP 56.1、FPR95 26.1）およびGMMベースの特徴量（AP 56.7、FPR95 28.0）を大きく上回り、OODデータ生成において正規化フローの優位性を示した。
• 判別モデルおよび正規化フローの両方を事前学習することで、ランダム初期化からの学習に比べ、AnomalyTrack-valのAPが6.4%絶対的に向上した。
• T=2の温度スケーリングにより、ObstacleTrack-valのFPR95が0.1 ± 0.0に低下し、スコア分布のキャリブレーションが向上した。
• 本手法は、ロジット空間における既知クラスと未知クラスの分離を高め、より優れたオープンセット一般化能力を示している。
• リモートセンシング分野において、ドメイン特化の負例データが入手不可な状況でも、強力な性能を示した。これは、リソースが限られたOOD検出シナリオにおける実用性を裏付けた。