[論文レビュー] Discriminative out-of-distribution detection for semantic segmentation

Petra Bevandić, Ivan Krešo+2 more|arXiv (Cornell University)|Aug 23, 2018

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 45

ひとこと要約

本論文は、分布内の道路走行ピクセルと広い背景（ILSVRC）を区別する専用のOOD検出器を訓練し、セマンティックセグメンテーションにおけるOODピクセルを識別する手法を提案する。従来法よりOOD検出性能の改善を示している。

ABSTRACT

Most classification and segmentation datasets assume a closed-world scenario in which predictions are expressed as distribution over a predetermined set of visual classes. However, such assumption implies unavoidable and often unnoticeable failures in presence of out-of-distribution (OOD) input. These failures are bound to happen in most real-life applications since current visual ontologies are far from being comprehensive. We propose to address this issue by discriminative detection of OOD pixels in input data. Different from recent approaches, we avoid to bring any decisions by only observing the training dataset of the primary model trained to solve the desired computer vision task. Instead, we train a dedicated OOD model which discriminates the primary training set from a much larger "background" dataset which approximates the variety of the visual world. We perform our experiments on high resolution natural images in a dense prediction setup. We use several road driving datasets as our training distribution, while we approximate the background distribution with the ILSVRC dataset. We evaluate our approach on WildDash test, which is currently the only public test dataset that includes out-of-distribution images. The obtained results show that the proposed approach succeeds to identify out-of-distribution pixels while outperforming previous work by a wide margin.

研究の動機と目的

• 閉世界仮定が成り立たない現実の運転シナリオにおいて、セマンティックセグメンテーションで堅牢なOOD検出を動機づける。
• 主系統 segmentationモデルとは独立して訓練される識別的で完全畳み込みのOOD検出器を提案する。
• 視覚世界の多様性を近似し、OODと分布内データを分離するために大規模な背景データセット（ILSVRC）を使用する。
• 複数のベースラインと道路走行データセットおよびWildDashデータセット上で方法を評価し、OOD検出性能の向上を示す。

提案手法

• 道路走行データセットの分布内(ID)ピクセルとILSVRCの分布外(OOD)ピクセルを二値ピクセル単位で分類する専用のOOD検出器を訓練する。
• ILSVRC事前学習で初期化されたDenseNet-121ベースの特徴抽出器を使用し、道路走行シーンと一般背景を識別するために、選択した層（DB4とT3）とOODヘッドのみを微調整する。
• IDとOODソースから512x512のクロップを混合バッチとして作成し、訓練をバランスさせるためIDデータをオーバーサンプリングし、ILSVRCピクセルをすべてOODとしてラベル付けし、道路走行ピクセルはIDとする。
• OODモデルを主たるセグメンテーションモデル（Cityscapes、Vistas、WildDash）と並行して訓練し、密なOOD検出性能をmax-softmax、ODIN、訓練済み信頼度ベースラインと比較する。
• OOD検出をWildDashテストで平均適合率を用いて評価し、2つの variante: 全てのネガティブ画像を含む場合と、改変されたネガティブを除外する場合。

実験結果

リサーチクエスチョン

• RQ1 大規模な背景データセット（ILSVRC）で訓練された識別的でタスクに依存しないOOD検出器は、セマンティックセグメンテーションのタスクで信頼性高くOODピクセルを識別できるか。
• RQ2 OOD検出を主 segmentationモデルから分離することは、主モデルに不確かさ戦略を共同適用するより高いOOD検出性能をもたらすか。
• RQ3 異なる分布内データセット（Cityscapes、Cityscapes+WildDash、Vistas）でOOD検出器を訓練すると、WildDashやその他のデータセットでのOOD検出性能はどうなるか。
• RQ4 道路走行および室内/室外の様々なシーンにおけるOOD検出のために、ILSVRCのような背景データセットを使用する影響はどのようになるか。
• RQ5 従来の画像全体のOOD手法（max-softmax、ODIN、訓練済み信頼度）が、密な予測へ適用された場合と、提案された識別的手法と比較してどう機能するか。

主な発見

• 背景としてILSVRCを用いて訓練された識別的OOD検出器は、WildDashのOOD検出APにおいてmax-softmaxおよび他の適応ベースラインを大幅に上回る。
• 多様な背景データ（特にWildDashの検証データを含む）でOOD検出器を訓練すると最高のOOD検出性能を得られ、難易度の高い例を訓練に含めることの利点を示している。
• IDデータとしてVistasで訓練したモデルは強力なOOD検出を達成する一方、Cityscapesのみでは過学習につながりWildDashへの一般化が劣る可能性がある。
• ILSVRCと道路走行データセットの共同訓練が最高のOOD検出性能を生み出し、さまざまなテスト設定でベースラインを大幅に上回るAPの利得を示す。
• このアプローチは、総合的な背景分布とピクセルレベルのOODラベリングが、密な予測におけるエピステミック不確実性推定を改善するうえで重要であることを示している。