[論文レビュー] Efficacy of Pixel-Level OOD Detection for Semantic Segmentation

Matt Angus, Krzysztof Czarnecki+1 more|arXiv (Cornell University)|Nov 7, 2019

Advanced Neural Network Applications参考文献 23被引用数 6

ひとこと要約

この論文は、画像レベルの分布外（OOD）検出で最先端の手法—Max Softmax、ODIN、マハラノビス、Confidence—を、セマンティックセグメンテーションにおける画素レベルのOOD検出に適応し、新しい指標（MaxIoU）と2つのカスタムデータセットを導入している。画像レベルのOOD検出で得られた性能順位が画素レベルにそのまま適用されず、すべての手法が画像レベルの対応手法よりも著しく性能が低いことが判明した。

ABSTRACT

The detection of out of distribution samples for image classification has been widely researched. Safety critical applications, such as autonomous driving, would benefit from the ability to localise the unusual objects causing the image to be out of distribution. This paper adapts state-of-the-art methods for detecting out of distribution images for image classification to the new task of detecting out of distribution pixels, which can localise the unusual objects. It further experimentally compares the adapted methods on two new datasets derived from existing semantic segmentation datasets using PSPNet and DeeplabV3+ architectures, as well as proposing a new metric for the task. The evaluation shows that the performance ranking of the compared methods does not transfer to the new task and every method performs significantly worse than their image-level counterparts.

研究の動機と目的

• 画像レベルのOOD検出手法を画素レベルに適応させ、セマンティックセグメンテーションにおける局所的OOD検出を可能にすること。
• 自動運転など、安全が重要な応用分野において、予期しない物体（例：道路に出現した予期しないコンテナ）を特定することが不可欠であることを踏まえること。
• トップパフォーマンスを示す画像レベルOOD手法が、画素レベルの検出タスクに適応した場合にも同等の有効性を維持するかを評価すること。
• OOD検出とセマンティックセグメンテーションの両方の性能を統合する新しい評価指標、MaxIoUを導入し、画素レベルのOOD検出に特化した指標を提供すること。
• CityscapesおよびIDDから派生させた、分布内および分布外の画素を含む2つの新規ベンチマークデータセットを構築すること。

提案手法

• セマンティックセグメンテーションネットワークの各画素特徴量に対して、4つの最先端の画像レベルOOD検出手法（Max Softmax、ODIN、マハラノビス、Confidence）を適応させること。
• マハラノビス距離の計算に適した次元削減を実現するため、1×1畳み込み層を導入するなど、アーキテクチャの変更を施すこと。
• PSPNetおよびDeeplabV3+の直前層の活性化値を用い、マハラノビス距離、温度スケーリング（ODIN）、最大ソフトマックス確率によってOODスコアを計算すること。
• OOD予測のIoUと分布内セグメンテーションの正確性を統合した新しい指標、MaxIoUを導入し、局所化精度と分類の整合性の両方を評価すること。
• しきい値に依存しない評価指標（例：AUC、FPR95）を用いて、さまざまなOOD検出しきい値における性能を評価すること。
• CityscapesおよびIDDの実際のシーンにOODオブジェクト（例：コンテナ、動物）を挿入することで、現実的でクラスの重なりを考慮した2つの新規データセットを生成すること。

実験結果

リサーチクエスチョン

• RQ1 最先端の画像レベルOOD検出手法を、セマンティックセグメンテーションにおける分布外画素の検出に効果的に適応できるか？
• RQ2 画像レベルのOOD検出手法の性能順位が、画素レベルの検出タスクに移行しても維持されるか？
• RQ3 異なるOOD検出手法は、多様なセグメンテーションアーキテクチャおよびデータセットにおいて、局所化精度と耐性の観点でどのように比較されるか？
• RQ4 古典的なコンピュータビジョン技術（例：モルフォロジカル操作）をOOD予測マップに適用することで、クラス境界における誤検出を低減し、性能がどの程度向上するか？
• RQ5 画素レベルOOD検出器の主な失敗モードは何か？また、それらは画像レベルの対応手法とどのように異なるか？

主な発見

• 画像レベルOOD検出手法の性能順位は、画素レベルタスクに非転送される。Max SoftmaxやODIN、マハラノビスといった、画像レベルで優れた性能を示す手法も、画素レベルでは常に優位とは限らない。
• すべての画素レベルOOD検出手法が、画像レベルの対応手法よりも著しく性能が低いことが判明し、画像から画素レベルへの分析に移行する際、検出能力が著しく低下することが示された。
• SUNデータセットとPSPNetを用いた実験では、ODINとマハラノビスが、VarSum、相互情報量、Confidenceを大きく上回る最高の性能を発揮した。
• IDDデータセットとDeeplabV3+を用いた実験では、相互情報量が最も優れた性能を示し、他の手法もそれに次いで高い性能を発揮した。これは、手法の有効性がアーキテクチャやデータセットに依存することを示している。
• OOD予測マップに古典的コンピュータビジョン技術（例：エロージョン、ディレーショング）を適用しても、AUCがわずかに0.001向上するにとどまり、境界の微調整にほとんど実用的効果がないことが示された。
• 主な失敗モードとして、水没した道路や影を分布内と誤認する傾向があり、逆にクラス境界を誤ってOODと特定してしまうことが判明した。今後の手法において、より良い区別能力の向上が求められる。