[論文レビュー] DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation

Xinyi Wu, Zhenyao Wu+3 more|arXiv (Cornell University)|Apr 22, 2021

Advanced Neural Network Applications参考文献 50被引用数 7

ひとこと要約

本稿では、昼間と夜間の画像ペアを粗くアライメントさせたものから擬似教師信号を活用し、敵対的訓練を用いて昼間ラベル付きモデル（Cityscapes）を夜間ドメインに適応するワンステージのドメイン適応ネットワーク、DANNetを提案する。リライト、マルチターゲット適応、再重み付け戦略を用いることで、事前学習済みの画像変換モデルに依存せずに、小物対象のセグメンテーション性能を向上させ、Dark ZurichおよびNighttime Drivingベンチマークで最先端の性能を達成する。

ABSTRACT

Semantic segmentation of nighttime images plays an equally important role as that of daytime images in autonomous driving, but the former is much more challenging due to poor illuminations and arduous human annotations. In this paper, we propose a novel domain adaptation network (DANNet) for nighttime semantic segmentation without using labeled nighttime image data. It employs an adversarial training with a labeled daytime dataset and an unlabeled dataset that contains coarsely aligned day-night image pairs. Specifically, for the unlabeled day-night image pairs, we use the pixel-level predictions of static object categories on a daytime image as a pseudo supervision to segment its counterpart nighttime image. We further design a re-weighting strategy to handle the inaccuracy caused by misalignment between day-night image pairs and wrong predictions of daytime images, as well as boost the prediction accuracy of small objects. The proposed DANNet is the first one stage adaptation framework for nighttime semantic segmentation, which does not train additional day-night image transfer models as a separate pre-processing stage. Extensive experiments on Dark Zurich and Nighttime Driving datasets show that our method achieves state-of-the-art performance for nighttime semantic segmentation.

研究の動機と目的

• 自動運転アプリケーションにおける劣悪な照明条件と夜間データのラベル不足という課題に対処すること。
• 分離された画像変換モデルを不要にするために、エンドツーエンドのワンステージドメイン適応フレームワークを提案すること。
• 粗くアライメントされた昼間・夜間画像ペアを活用し、静的物体カテゴリの予測を用いて、擬似教師信号を提供することで、夜間セグメンテーションを実現すること。
• 予測誤差やアライメントの不備に対処する再重み付け戦略を導入し、低照度条件下での小物対象のセグメンテーション精度を向上させること。
• 合成データや事前処理の画像変換に依存せずに、夜間セマンティックセグメンテーションベンチマークで最先端の性能を達成すること。

提案手法

• 異なるドメインの昼間・夜間画像間の明るさ分布を揃えるために、光強度損失を用いた重み共有の画像リライトネットワークを訓練する。
• ソースドメインとしてラベル付きの昼間データ（Cityscapes）を用い、ターゲットドメインとしてDark Zurich-D（昼間）およびDark Zurich-N（夜間）に適応する。
• リライト画像上で共有セマンティックセグメンテーションネットワークを適用し、出力空間における敵対的訓練により、ドメイン間の特徴レイアウトを一致させる。
• Dark Zurich-Dの予測結果を、Dark Zurich-Nでの学習に用いる擬似ラベルとし、ノイズを低減するため静的物体カテゴリに限定して使用する。
• 予測の信頼度と空間ばらつきに基づいて損失重みを調整することで、不確実な予測を軽減し、小物対象のセグメンテーションを強化する再重み付け戦略を導入する。
• マルチタスク損失（セグメンテーション損失、光損失、および適応的重み付けを施した静的物体損失）を用いて、全ネットワークをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの画像変換ネットワークに依存する二段階手法よりも、ワンステージドメイン適応フレームワークが、夜間セマンティックセグメンテーションにおいて優れた性能を発揮できるか？
• RQ2 粗くアライメントされた昼間・夜間画像ペアからの昼間予測による擬似教師信号が、真のラベルが存在しない状況でも、夜間セグメンテーションを効果的にガイドできるか？
• RQ3 小物対象のセグメンテーション性能を向上させるために、専用の再重み付け戦略が有効であるか？
• RQ4 ペアド真のラベルが存在しない状況下で、敵対的訓練が昼間・夜間ドメイン間の特徴分布をどれほど効果的に一致させられるか？
• RQ5 光損失関数を用いた画像リライトが、ドメイン整合性の向上とセグメンテーション性能の向上に寄与するか？

主な発見

• DANNetは、Dark Zurich-valデータセットで36.76のmIoUを達成し、先行研究の最先端手法を10%以上上回る性能を示した。
• Nighttime Drivingテストセットでは、DANNet（PSPNetバックボーン）が47.70のmIoUを記録し、2位にランクインし、多数の既存手法を顕著に上回った。
• アブレーションスタディの結果、Dark Zurich-Dからの擬似教師信号を除去するとmIoUが13.78ポイント低下し、ドメイン適応においてその重要性が裏付けられた。
• 再重み付け戦略により小物対象のセグメンテーションが向上し、図6の可視化で示されるように、以前に見逃されていた対象が正しく予測された。
• 再重み付け戦略における標準偏差（std）を0.16に設定した場合が最適であり、アブレーションではベースライン設定比で1.8%のmIoU向上を確認した。
• DANNetの完全モデルは、Dark Zurich-valでベースラインのAdaptSegNet比で10%の性能向上を達成し、統合された各モジュールの有効性を示した。