[論文レビュー] Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection in Semantic Segmentation

Yuyuan Liu, Choubo Ding+5 more|arXiv (Cornell University)|Nov 26, 2022

Remote-Sensing Image Classification被引用数 4

ひとこと要約

本稿では、ベースモデルの微調整を伴わせることなく、インハウス分類精度を維持したまま、ピクセル単位の分布外（OoD）検出を向上させる、新しいモジュールであるリジドラルパターン学習（RPL）を提案する。中間特徴量から異常パターンの残差を学習し、正のエネルギー損失とコンテキストに強い対照的学習（CoroCL）を用いることで、Fishyscapes、Segment-Me-If-You-Can、RoadAnomalyの各データセットにおいて、FPRが最大10%向上し、AuPRCが7%向上する。

ABSTRACT

Semantic segmentation models classify pixels into a set of known (``in-distribution'') visual classes. When deployed in an open world, the reliability of these models depends on their ability not only to classify in-distribution pixels but also to detect out-of-distribution (OoD) pixels. Historically, the poor OoD detection performance of these models has motivated the design of methods based on model re-training using synthetic training images that include OoD visual objects. Although successful, these re-trained methods have two issues: 1) their in-distribution segmentation accuracy may drop during re-training, and 2) their OoD detection accuracy does not generalise well to new contexts (e.g., country surroundings) outside the training set (e.g., city surroundings). In this paper, we mitigate these issues with: (i) a new residual pattern learning (RPL) module that assists the segmentation model to detect OoD pixels without affecting the inlier segmentation performance; and (ii) a novel context-robust contrastive learning (CoroCL) that enforces RPL to robustly detect OoD pixels among various contexts. Our approach improves by around 10\% FPR and 7\% AuPRC the previous state-of-the-art in Fishyscapes, Segment-Me-If-You-Can, and RoadAnomaly datasets. Our code is available at: https://github.com/yyliu01/RPL.

研究の動機と目的

• 再トレーニングを伴うモデルにおける、インハウス分類精度とOoD検出性能のトレードオフを解消すること。
• 都市から田園地帯への分布シフト（例：街中から田舎の風景）において失敗する、既存のOoD検出器のコンテキスト耐性の限界を克服すること。
• ベース分類ネットワークの微調整なしに、OoD検出を向上させるプラグインモジュールの開発。
• さまざまなコンテキスト下でも、小さな微妙な異常に対する感度を高めつつ、インライナー領域での誤検出を最小限に抑えること。
• コンテキストに適応した表現学習を通じて、多様な現実世界環境へのOoD検出の一般化を可能にすること。

提案手法

• 凍結された分類ネットワークの中間特徴量上で動作するリジドラルパターン学習（RPL）モジュールを導入し、誘導された不確実性を介して異常を検出する。
• 外れ値エネルギー得点にのみ焦点を当てる正のエネルギー（PE）損失を設計し、ピクセル単位のOoD検出におけるクラス不均衡に強い耐性を向上させる。
• 異なるコンテキスト間で埋め込みを整合させるために、コンテキストに強い対照的学習（CoroCL）を提案し、未観測環境への一般化を向上させる。
• 対照的最適化を効果的に行うために、RPLブロック出力の次元と一致する次元を持つプロジェクターヘッドを用いてRPLを訓練する。
• 事前学習済み分類モデルの上に、軽量でトレーニング可能なヘッドとしてRPLを統合し、メインネットワークの再トレーニングを回避する。
• 2段階の訓練戦略を採用：まずPE損失でRPLを訓練し、その後CoroCLでコンテキスト一般化を最適化する。

実験結果

リサーチクエスチョン

• RQ1 プラグインモジュールは、インハウス分類精度を低下させることなくOoD検出を向上させることができるか？
• RQ2 都市から田園地帯への異なる現実世界のコンテキストにおける分布シフトに対して、OoD検出がどのように耐性を示せるか？
• RQ3 ピクセル単位の検出におけるインライナーと外れ値の不均衡な分布に対処する際、正のエネルギー損失はハッチベースのエネルギー損失を上回るか？
• RQ4 多様なコンテキスト間での対照的学習は、OoD検出器の一般化を向上させることができるか？
• RQ5 RPLは、Meta-OoD や PEBAL といった既存のSOTA手法をどの程度向上させることができるか？

主な発見

• RPLは、Fishyscapes、Segment-Me-If-You-Can、RoadAnomalyの各データセットにおいて、前回SOTAと比較してFPRが10%低く、AuPRCが7%高い。
• 正のエネルギー損失は、エントロピーに基づく最適化と比較して、SMIYC-ObstacleセットにおいてAuPRCを11.51%向上させ、FPRを1.99%低減した。
• 非類似性（DS）正則化を追加することで、FS-L&FでAuPRCが6.87%向上し、外れ値の分離が改善された。
• CoroCLは、SMIYC-AnomalyでFPRが18.47%低く、AuPRCが12.12%高く、RoadAnomalyでFPRが12.92%低く、AuPRCが8.59%高い性能を達成した。
• RPLは、Fishyscapes StaticおよびL&FでMeta-OoDをAuPRCで15%向上させ、SMIYC-ObstacleでPEBALをAuPRCで70%以上向上させた。
• プロジェクターディメンションがRPLブロック出力ディメンション（304）と一致する場合に最適な性能が得られ、512次元の投影と比較して約5%のAuPRC向上を達成した。