[論文レビュー] Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation

Yingda Xia, Yi Zhang+3 more|arXiv (Cornell University)|Mar 18, 2020

Anomaly Detection Techniques and Applications参考文献 51被引用数 10

ひとこと要約

本論文では、セマンティックセグメンテーションマスクから条件付きGANを用いて画像を合成し、元の入力画像と比較することで、障害および異常を検出する統合フレームワークであるSynthCPを提案する。本手法は最先端の性能を達成し、StreetHazardsではAUPRが20%向上、膵腫瘍セグメンテーションではピアソン相関係数が7%向上、CityscapesではAUPR-Errorが6%向上を達成した。

ABSTRACT

The ability to detect failures and anomalies are fundamental requirements for building reliable systems for computer vision applications, especially safety-critical applications of semantic segmentation, such as autonomous driving and medical image analysis. In this paper, we systematically study failure and anomaly detection for semantic segmentation and propose a unified framework, consisting of two modules, to address these two related problems. The first module is an image synthesis module, which generates a synthesized image from a segmentation layout map, and the second is a comparison module, which computes the difference between the synthesized image and the input image. We validate our framework on three challenging datasets and improve the state-of-the-arts by large margins, \emph{i.e.}, 6% AUPR-Error on Cityscapes, 7% Pearson correlation on pancreatic tumor segmentation in MSD and 20% AUPR on StreetHazards anomaly segmentation.

研究の動機と目的

• 自動運転や医療画像診断などの安全が求められるセマンティックセグメンテーション応用における障害および異常検出の重要なニーズに対処すること。
• 画像分類ベースのアプローチを越えて、ピクセルレベルの障害検出と異常セグメンテーションを統合的に処理するフレームワークを構築すること。
• セマンティックレイアウトの構造的整合性を活用し、画像再構成による逆マッピングによって検出の信頼性を向上させること。
• 障害検出において画像レベルの信頼性とピクセルレベルの誤差マップを提供するとともに、分布外（OOD）状況での異常領域を局所化すること。
• Cityscapes、Medical Segmentation Decathlon（MSD）、StreetHazardsを含む多様で挑戦的なベンチマークでフレームワークを検証すること。

提案手法

• ペアドされたセグメンテーションマスクと実画像を用いて、レイアウトから画像への逆マッピングを学習する、セマンティックから画像への条件付きGAN（cGAN）を訓練する。
• 訓練済みのcGANを用いて、テスト画像の予測セグメンテーションマスクから再構成画像を合成する。
• タスク固有の比較モジュールを用いて、合成画像と元の入力画像を比較する：障害検出にはシameseネットワーク、異常セグメンテーションには特徴距離計算を用いる。
• 障害検出では、シameseネットワークが画像レベルの信頼性（例：IoU予測）とピクセルレベルの誤差マップの両方を出力する。
• 異常セグメンテーションでは、セグメンテーションバックボーンの途中特徴量に対して比較を行い、ピクセル単位の差分を計算してOOD領域を同定する。
• AUPRを最適化しつつ誤検出を制御するため、異常スコアマップに後処理としてしきい値処理（例：MSPしきい値t=0.999）を適用する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマスクから画像を再構成するように訓練された生成モデルを、セグメンテーション予測の誤り検出に利用できるか？
• RQ2 合成・比較アーキテクチャは、セマンティックセグメンテーションにおける局所的障害と分布外異常の両方を効果的に同定できるか？
• RQ3 画像合成に条件付きGANを用いることで、従来の不確実性または再構成ベースの手法に比べ、障害および異常検出が向上するか？
• RQ4 セグメンテーションレイアウトの構造的プライオリティが、ピクセル単位の手法に比べて検出性能をどの程度向上させるか？
• RQ5 本フレームワークは、都市部のストリートシーン、医療腫瘍、希少オブジェクトの異常など、多様なドメインに一般化可能か？

主な発見

• Cityscapesデータセットにおけるピクセルレベルの障害検出において、SynthCPはAUPR-Errorで6%の向上を達成し、先行する最先端手法を上回った。
• Medical Segmentation Decathlon（MSD）の膵腫瘍セグメンテーションベンチマークでは、DSC予測のピアソン相関係数が7%向上した。
• StreetHazardsデータセットでは、異常セグメンテーションにおいてAUPRが20%相対的に向上（6.5%から9.3%に）し、新たな最先端性能を樹立した。
• MSP異常スコアマップにt=0.999のしきい値処理を適用することで、AUPRが著しく向上し、同時にAUROCは高く維持され、FPR95も低減した。
• VAEベースのアラームシステムと組み合わせることで、ピアソン相関係数が7%向上、スピアマン相関係数が10%向上し、相補的な強みを示した。
• 可視化結果から、SynthCPは誤分類された領域（例：人物がポールに誤分類）やトレーニングデータに存在しない異常オブジェクトを効果的に強調していることがわかった。