[論文レビュー] DensePASS: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation with Attention-Augmented Context Exchange

Chaoxiang Ma, Jiaming Zhang+3 more|arXiv (Cornell University)|Aug 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 5

ひとこと要約

本稿では、注意強化コンテキスト交換を用いた教師なしドメイン適応を用いて、密度的なパノラマセマンティックセグメンテーションのための新しいベンチマークおよびドメイン適応フレームワークDensePASSを提案する。ピンホールカメラ画像からパノラマの等距離図へのドメインシフトに対処するため、適応型モジュール（SDAM、ADAM、RCDAM）を導入し、19のセマンティッククラスを有する新しいベンチマークデータセットで、ベースラインネットワーク比最大11.26%のmIoU向上を達成した。

ABSTRACT

Intelligent vehicles clearly benefit from the expanded Field of View (FoV) of the 360-degree sensors, but the vast majority of available semantic segmentation training images are captured with pinhole cameras. In this work, we look at this problem through the lens of domain adaptation and bring panoramic semantic segmentation to a setting, where labelled training data originates from a different distribution of conventional pinhole camera images. First, we formalize the task of unsupervised domain adaptation for panoramic semantic segmentation, where a network trained on labelled examples from the source domain of pinhole camera data is deployed in a different target domain of panoramic images, for which no labels are available. To validate this idea, we collect and publicly release DensePASS - a novel densely annotated dataset for panoramic segmentation under cross-domain conditions, specifically built to study the Pinhole-to-Panoramic transfer and accompanied with pinhole camera training examples obtained from Cityscapes. DensePASS covers both, labelled- and unlabelled 360-degree images, with the labelled data comprising 19 classes which explicitly fit the categories available in the source domain (i.e. pinhole) data. To meet the challenge of domain shift, we leverage the current progress of attention-based mechanisms and build a generic framework for cross-domain panoramic semantic segmentation based on different variants of attention-augmented domain adaptation modules. Our framework facilitates information exchange at local- and global levels when learning the domain correspondences and improves the domain adaptation performance of two standard segmentation networks by 6.05% and 11.26% in Mean IoU.

研究の動機と目的

• ピンホールカメラデータで学習したモデルを、ラベルなしのパノラマ画像に適応させる教師なしドメイン適応を形式化し、パノラマセマンティックセグメンテーションに適用すること。
• ピンホールとパノラマ画像の間の顕著なドメインシフト（幾何的歪みと視野の違いに起因）を解消すること。
• 標準的なセマンティックセグメンテーションネットワークに注意ベースでコンテキストに配慮したモジュールを統合できる汎用的かつプラグイン型のドメイン適応フレームワークを開発すること。
• DensePASSを収集・公開し、ラベルありおよびラベルなしのパノラマ画像を含む、19のセマンティッククラスを有する新しい高密度アノテーション付きデータセットを提供し、クロスドメイン評価を可能にすること。
• 注意強化コンテキスト交換が、ドメイン間での特徴の整合性とセグメンテーション精度を向上させるメカニズムの有効性を検証すること。

提案手法

• ラベルありピンホールデータとラベルなしパノラマデータを用いた教師なしドメイン適応として、ピンホール→パノラマドメイン適応（P2PDA）タスクを形式化する。
• 多段階の特徴整合のため、セグメンテーションドメイン適応モジュール（SDAM）、注意的ドメイン適応モジュール（ADAM）、および領域コンテキストドメイン適応モジュール（RCDAM）の3つのドメイン適応モジュールを提案する。
• ADAMを用いて、自己注意メカニズムにより360°パノラマ全体における長距離依存性と位置関係をモデル化する。
• RCDAMを用いて、パノラマ特徴マップ内の異なる空間領域間で領域コンテキストを交換することで、特徴表現を強化する。
• 標準的なセグメンテーションネットワーク（例：ERFNet、FANet、DANet）にモジュールを統合し、再訓練なしにクロスドメイン適応を可能にする。
• 敵対的損失と一貫性正則化を用いてモデルを訓練し、ソースドメインとターゲットドメインの特徴を統一しつつ、意味的構造を保持する。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン適応は、ピンホールカメラ画像とパノラマ等距離図の間のドメインギャップを、セマンティックセグメンテーションの文脈で効果的に埋め合わせることができるか？
• RQ2 注意ベースでコンテキストに配慮したモジュールは、パノラマシーンの特徴統合とセグメンテーションパフォーマンスにどのように寄与するか？
• RQ3 より多様なデータ（例：WildDash）をソースドメインに追加することで、パノラマシーンへの一般化性能がどの程度向上するか？
• RQ4 標準的なセグメンテーションモデルをパノラマデータで微調整した場合と比較して、提案されたP2PDAフレームワークはmIoUおよび境界精度の観点でどの程度優れているか？
• RQ5 ドメイン適応は、360°シーンにおける小形または曖昧な物体（例：信号機、電柱）のセグメンテーションに、どのような定性的な改善をもたらすか？

主な発見

• 提案されたP2PDAフレームワークは、2つの標準的なセグメンテーションネットワークで、mIoUをそれぞれ6.05%および11.26%向上させ、強力なドメイン適応の恩恵を示した。
• DensePASSベンチマークで評価したところ、Cityscapesで学習したモデルがP2PDAにより適応され、WildDashを含む拡張されたソースデータセットを用いることで、mIoUが42.47%に達した。
• 注意強化ADAMモジュールは、空、植生、建物といった複雑な領域のセグメンテーションを顕著に向上させ、定性的に明瞭で正確な境界線を実現した。
• 交通標識、信号機、電柱といった小形物体は、ドメイン適応後、局所化と分類性能において顕著な改善を示した。
• ピンホールデータからパノラマデータに移行した際の性能低下は顕著で、mIoUが約50%低下するため、ドメイン適応の重要性が強く示された。
• RCDAMモジュールは水平的およびグローバルコンテキストを効果的に捉えており、特に幾何的歪みが強い領域で、360°視野全体にわたる特徴表現を向上させた。