[論文レビュー] Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive Object Detector

Cheng-Chun Hsu, Yi‐Hsuan Tsai+2 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 14

ひとこと要約

本稿では、物体検出のドメイン適応において、画素単位のオブジェクト性とセンターネスを予測することで、判別性の高いオブジェクト領域に焦点を当てたセンター認識特徴アライメントを提案する。敵対的特徴アライメントをガイドするためのものであり、背景ノイズを低減し、前方領域のアライメントを向上させることで、複数のドメイン適応ベンチマークで最先端の性能を達成する。

ABSTRACT

A domain adaptive object detector aims to adapt itself to unseen domains that may contain variations of object appearance, viewpoints or backgrounds. Most existing methods adopt feature alignment either on the image level or instance level. However, image-level alignment on global features may tangle foreground/background pixels at the same time, while instance-level alignment using proposals may suffer from the background noise. Different from existing solutions, we propose a domain adaptation framework that accounts for each pixel via predicting pixel-wise objectness and centerness. Specifically, the proposed method carries out center-aware alignment by paying more attention to foreground pixels, hence achieving better adaptation across domains. We demonstrate our method on numerous adaptation settings with extensive experimental results and show favorable performance against existing state-of-the-art algorithms.

研究の動機と目的

• 画像レベルおよびインスタンスレベルの特徴アライメントには、背景ノイズやドメインギャップに敏感であるという限界があるため、それらを是正すること。
• オブジェクト性とセンターネススコアが高いため、前方ピクセルに特徴アライメントを集中させることで、背景ピクセルによる混乱を低減すること。
• 特に大きなドメインシフト下でも有効な、ドメイン間での特徴分布アライメントを向上させる画素レベルのガイダンス機構を開発すること。
• さまざまなサイズのオブジェクトを効果的に処理できるように、マルチスケールのアライメントを可能にすることにより、ターゲットドメインにおける多様なオブジェクトスケールへのロバスト性を向上させること。

提案手法

• 全畳み込みネットワークを導入し、画像全体にわたって画素単位のオブジェクト性マップとセンターネスマップを予測することで、アライメント中にピクセル単位の注目を可能にする。
• 予測されたオブジェクト性およびセンターネスマップをマスクとして用い、敵対的特徴アライメントを高信頼度の前方領域に限定してガイドする。
• ディスクラミネーターを、センター認識領域内でのみソースおよびターゲット特徴を区別できるように訓練することで、センター認識特徴アライメントを敵対的学習により実現する。
• F3からF7までの複数の特徴ピラミッドレベルにわたり、センター認識アライメントを適用するマルチスケールアライメント方式を設計し、小型・中型・大型オブジェクトの効果的処理を可能にする。
• グローバルアライメント（GA）とセンター認識アライメント（CA）を組み合わせることで、グローバルな分布マッチングと局所的で判別性の高い特徴学習の両方の利点を活用する。
• 2段階のプロセスでエンドツーエンドに学習する：まずオブジェクト性およびセンターネスマップを予測し、次にマスクされた特徴に対して敵対的アライメントを実行する。

実験結果

リサーチクエスチョン

• RQ1 画素単位のオブジェクト性およびセンターネス予測は、判別性の高いオブジェクト領域にアライメントを集中させることで、物体検出におけるドメイン適応を向上させることができるか？
• RQ2 センター認識特徴アライメントは、背景干渉を低減する観点で、画像レベルおよびインスタンスレベルのアライメントと比較してどのように優れているか？
• RQ3 マルチスケールのセンター認識アライメントは、ドメイン適応設定下で、さまざまなサイズのオブジェクトに対してどの程度性能を向上させるか？
• RQ4 大きなドメインシフトを伴う困難な適応シナリオにおいて、センター認識アライメントはグローバルアライメントに比べてどの程度寄与しているか？

主な発見

• 提案手法のセンター認識特徴アライメントは、3つのベンチマークドメイン適応設定（Cityscapes→Foggy Cityscapes、Sim10k→Cityscapes、KITTI→Cityscapes）で最先端のmAPを達成した。
• Sim10k→Cityscapesベンチマークにおいて、ResNet-101を搭載した完全なモデルは、グローバルアライメントのみのベースラインに比べ、mAP^{r}_{0.75}を2.2%、mAP^{r}_{S}を1.4%、mAP^{r}_{M}を3.9%向上させた。
• アブレーションスタディの結果、F3からF7までのマルチスケールアライメントが最良の性能を示し、単一スケールのF5に比べてmAP^{r}_{L}が5.8%向上し、F5–F7に比べてmAP^{r}_{S}が2.0%向上した。
• 定性的な可視化結果から、センター認識アライメントは、複数の特徴レベルでオブジェクト中心の局所化を著しく向上させるとともに、応答マップにおける背景ノイズを低減していることが示された。
• 特に高いIoU閾値（例：mAP^{r}_{0.75}）や小サイズオブジェクトに対して、既存のSOTA手法を上回る性能を発揮した。
• アブレーションスタディの結果、センター認識アライメントは、背景がごった返すターゲットドメインにおいて、背景の誤認識を最も効果的に低減することが確認された。