[論文レビュー] Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation

Christos Sakaridis, Dengxin Dai+1 more|arXiv (Cornell University)|May 28, 2020

Advanced Image and Video Retrieval Techniques被引用数 9

ひとこと要約

本稿では、地理的に位置付けられた地図と時系列間の対応関係を活用して、昼間のモデルを段階的に暗い環境に適応させる、マップ誘導型カリキュラムドメイン適応（MGCDA）を提案する。これにより、夜間の画像セマンティックセグメンテーションの性能が向上する。不正領域をベンチマークに組み込む不確実性に配慮した評価フレームワークを導入し、新しいDark Zurichデータセットにおいて最先端の性能を達成するとともに、安全が重要な応用分野における耐性向上を実現した。

ABSTRACT

We address the problem of semantic nighttime image segmentation and improve the state-of-the-art, by adapting daytime models to nighttime without using nighttime annotations. Moreover, we design a new evaluation framework to address the substantial uncertainty of semantics in nighttime images. Our central contributions are: 1) a curriculum framework to gradually adapt semantic segmentation models from day to night through progressively darker times of day, exploiting cross-time-of-day correspondences between daytime images from a reference map and dark images to guide the label inference in the dark domains; 2) a novel uncertainty-aware annotation and evaluation framework and metric for semantic segmentation, including image regions beyond human recognition capability in the evaluation in a principled fashion; 3) the Dark Zurich dataset, comprising 2416 unlabeled nighttime and 2920 unlabeled twilight images with correspondences to their daytime counterparts plus a set of 201 nighttime images with fine pixel-level annotations created with our protocol, which serves as a first benchmark for our novel evaluation. Experiments show that our map-guided curriculum adaptation significantly outperforms state-of-the-art methods on nighttime sets both for standard metrics and our uncertainty-aware metric. Furthermore, our uncertainty-aware evaluation reveals that selective invalidation of predictions can improve results on data with ambiguous content such as our benchmark and profit safety-oriented applications involving invalid inputs.

研究の動機と目的

• 夜間のアノテーションに依存せずに、低照度の夜間条件下でのセマンティックセグメンテーションを改善すること。
• 特徴が識別不能になるなど、視覚的劣化やセマンティックの曖昧性が顕著な夜間画像における課題に対処すること。
• 不正（識別不能）な画像領域を性能評価に組み込む、原理的で整合性のある評価フレームワークを開発すること。
• 夜間および曇りの画像に細かくアノテートされた、不正領域を含む新しいベンチマークデータセット、Dark Zurichを構築すること。
• 不確実性が高い場合に「不正」と予測できるようにすることで、自律走行システムにおけるより安全な認識を実現すること。

提案手法

• 時間的連続性を活用して、昼間から段階的に暗い領域にモデルを適応させるカリキュラム学習戦略を提案する。
• 地理的に位置付けられたデジタルマップを用いて、昼間の画像と精錬されたセマンティック知識を保存し、空間的に適応的な融合を可能にする。
• 画像変換を用いて、昼間データセットを暗い領域にスタイライズし、教師あり事前学習を実施することで、ドメイン一般化性能を向上させる。
• 信頼度に応じた予測融合モジュールを設計し、学習可能な重みを用いて暗い画像の予測と、歪みを加えた昼間の予測を統合する。
• 標準IoUを一般化し、'不正'ラベルを許容する新規の不確実性に配慮した指標、UIoUを導入する。これは、本当に曖昧な領域に対して不正と予測された場合に正解とみなす。
• 昼間の画像を基に不正領域をラベリングするプロトコルを構築し、人間がラベリングできないほど劣化した領域の信頼性あるアノテーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 昼から夜へ段階的に進むカリキュラムドメイン適応戦略は、低照度条件下でのセマンティックセグメンテーション性能を向上させることができるか？
• RQ2 夜間アノテーションが一切ない状況でも、セマンティックセグメンテーションモデルを効果的に夜間用に適応させることは可能か？
• RQ3 地理的に位置付けられた昼間のマップは、夜間セグメンテーションの精度と耐性をどの程度向上させることができるか？
• RQ4 夜間画像におけるセマンティックの不確実性や識別不能な領域を考慮するには、評価指標をどのように再定義すべきか？
• RQ5 評価に不正領域を組み込むことで、自動運転応用におけるより頑健で安全な予測が実現できるか？

主な発見

• MGCDAは、Dark Zurichの夜間ベンチマークにおいて、標準指標および不確実性に配慮した指標の両方で最先端の手法を大きく上回る性能を達成した。
• 不確実性に配慮した評価フレームワークにより、曖昧な入力に対して予測を意図的に不正化することで、安全性が重要な状況における誤検出を低減し、耐性が向上した。
• 201枚の完全にアノテートされた夜間画像と2416枚のラベルなしの夜間画像を含む、Dark Zurichデータセットは、夜間セマンティックセグメンテーションの新しいベンチマークを確立した。
• 提案されたUIoU指標は、標準IoUを一般化し、人間ですら認識できない領域を考慮することで、より公平な評価を可能にした。
• 実験の結果、昼間の予測に対する信頼度重みを高めるほど性能が向上するが、過剰に使用するとずれが生じて性能が低下するため、一定の限界があることが判明した。
• アノテーションプロトコルにより、従来除外されていた不正領域が正しくラベリングされ、評価に組み込まれるようになり、モデルの信頼性が向上した。