[論文レビュー] This is not what I imagined: Error Detection for Semantic Segmentation through Visual Dissimilarity

David Haldimann, Hermann Blum+2 more|arXiv (Cornell University)|Sep 2, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用数 12

ひとこと要約

この論文は、条件付きGANを用いて、セマンティックセグメンテーションにおける分布外（OoD）および誤分類インスタンスを検出する、視覚的不一致に基づく新規な手法を提案する。入力セグメンテーションマスクから合成画像を生成し、学習された不一致メトリックを用いて不一致を同定する。OoD検出において有望な結果を達成したが、明るさの感度に起因する高い誤検出率により制限を受ける。

ABSTRACT

There has been a remarkable progress in the accuracy of semantic segmentation due to the capabilities of deep learning. Unfortunately, these methods are not able to generalize much further than the distribution of their training data and fail to handle out-of-distribution classes appropriately. This limits the applicability to autonomous or safety critical systems. We propose a novel method leveraging generative models to detect wrongly segmented or out-of-distribution instances. Conditioned on the predicted semantic segmentation, an RGB image is generated. We then learn a dissimilarity metric that compares the generated image with the original input and detects inconsistencies introduced by the semantic segmentation. We present test cases for outlier and misclassification detection and evaluate our method qualitatively and quantitatively on multiple datasets.

研究の動機と目的

• セマンティックセグメンテーションモデルにおける局所的異常検出の欠如、特に分布外（OoD）および誤分類インスタンスに対して解決を図ること。
• 訓練分布外のエラーを検出できる手法を開発すること。これは、自律走行や安全上の重要なシステムにとって不可欠である。
• 生成モデルと学習された不一致メトリックを活用し、元の画像と再構成画像の間の不一致を同定すること。

提案手法

• 条件付きGAN（cGAN）を、予測されたセマンティックセグメンテーションマスクに基づいて元の入力画像を再構成するように訓練する。
• 畳み込みニューラルネットワークから得られる学習済みの不一致メトリックを用いて、生成画像と元の入力画像を比較する。
• 不一致スコアを画像の各パッチごとに計算し、OoDオブジェクトや誤分類の局所化を可能にする。
• 生成器ヘッドの性能トレードオフを評価するために、3つのアーキテクチャバリエーション（デコンボリューション、リサイズ、完全結合）を評価する。
• 不一致検出器は、類似性と不一致の項をバランスさせる損失関数を用いて訓練され、ハイパーパrameter λD がトレードオフを制御する。
• 本手法は、OoDおよび誤分類検出の両タスクにおいて、WilddashおよびMapillary Vistasデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 実画像とGANによって生成された画像との間の視覚的不一致は、セマンティックセグメンテーションにおける分布外（OoD）インスタンスを効果的に検出できるか？
• RQ2 提案手法は、1枚の画像内での誤分類またはOoDオブジェクトの局所化にどの程度効果的か？
• RQ3 どの生成器アーキテクチャ（デコンボリューション、リサイズ、完全結合）が、エラー局所化に最も頑健な不一致検出をもたらすか？
• RQ4 損失重みパrameter λD は、不一致検出器の性能にどのように影響するか？
• RQ5 入力と生成画像間の明るさの変動が、誤検出をどの程度引き起こすか？

主な発見

• デコンボリューションベースのアプローチは、Mapillary VistasデータセットにおけるOoD検出で最高のAUCスコア0.5469を達成し、リサイズおよび完全結合アーキテクチャを上回った。
• 完全結合アプローチは誤分類検出においてより優れた性能を示し、AUCが0.5051であったが、依然として理想の閾値を下回った。
• 元の画像と生成画像の間の明るさの差異に起因する感度により、意味論的に一貫している場合でさえも、高い誤検出率が生じた。
• 完全結合アプローチのF1スコアは、λD を類似性と不一致の項を等しくバランスさせるように設定した際に最大値を示し、最適なトレーニング設定を示した。
• 定性的な結果から、デコンボリューションおよびリサイズ手法はOoDインスタンスの検出が優れており、完全結合手法は誤分類検出に対してより効果的であった。
• OoD検出性能は有望であったが、全体としての手法の有用性は、高い誤検出率のため制限を受けており、さらなる調査が求められる。