[論文レビュー] Channel-wise Alignment for Adaptive Object Detection

Hang Yang, Shan Jiang+5 more|arXiv (Cornell University)|Sep 7, 2020

Advanced Neural Network Applications参考文献 39被引用数 4

ひとこと要約

この論文は、チャネルレベルでの特徴分布の整合性を図ることでドメインシフトに強い一般化性能を実現する、オブジェクト検出のための新しいチャネルワイドドメイン適応フレームワークを提案する。自己およびクロスチャネルワイド整合モジュールとRPNドメイン分類器を導入することで、複数のドメインシフトベンチマークで先行手法よりも5%のmAP向上を達成し、インスタンスセグメンテーションへの汎用性も高い。

ABSTRACT

Generic object detection has been immensely promoted by the development of deep convolutional neural networks in the past decade. However, in the domain shift circumstance, the changes in weather, illumination, etc., often cause domain gap, and thus performance drops substantially when detecting objects from one domain to another. Existing methods on this task usually draw attention on the high-level alignment based on the whole image or object of interest, which naturally, cannot fully utilize the fine-grained channel information. In this paper, we realize adaptation from a thoroughly different perspective, i.e., channel-wise alignment. Motivated by the finding that each channel focuses on a specific pattern (e.g., on special semantic regions, such as car), we aim to align the distribution of source and target domain on the channel level, which is finer for integration between discrepant domains. Our method mainly consists of self channel-wise and cross channel-wise alignment. These two parts explore the inner-relation and cross-relation of attention regions implicitly from the view of channels. Further more, we also propose a RPN domain classifier module to obtain a domain-invariant RPN network. Extensive experiments show that the proposed method performs notably better than existing methods with about 5% improvement under various domain-shift settings. Experiments on different task (e.g. instance segmentation) also demonstrate its good scalability.

研究の動機と目的

• 天候、照明、画像品質の変動に起因するオブジェクト検出におけるドメインシフトを解決すること。
• 既存のハイレベル特徴整合手法が、細粒度のチャネルワイドパターンを十分に活用できないという限界を克服すること。
• オブジェクト検出におけるドメイン適応におけるチャネルワイド特徴表現の可能性を調査すること。
• 検出タスクを超えてインスタンスセグメンテーションタスクへも一般化可能なスケーラブルなフレームワークを開発すること。
• チャネルレベルの分布整合がクロスドメイン検出において顕著な性能向上をもたらすことを実証すること。

提案手法

• 各チャネルを独立した分布とみなして敵対的訓練を適用し、ドメイン不変特徴を学習する自己チャネルワイド整合（SCA）モジュールを提案する。
• 減衰したグラム行列損失を用いてチャネル間の相互情報量をモデル化し、特徴の多様性を向上させるクロスチャネルワイド整合（CCA）モジュールを導入する。
• 領域提案（region proposals）の整合を図り、領域認識特徴のロバスト性を向上させるためにRPNドメイン分類器（RDC）を統合する。
• SCA、CCA、RDCを統合したフレームワークを構築し、チャネルワイドおよびプロポーザルワイドドメイン適応の共同最適化を可能にする。
• バックボーンにVGG-16を採用し、複数の段階（conv1-5）にSACを適用することで、特徴の深さが適応性能に与える影響を評価する。
• 高活性化チャネルペアの重みを低下させる減衰したグラム行列損失を活用し、情報量が多く重複が少ないチャネル間相互作用に注目する。

実験結果

リサーチクエスチョン

• RQ1 画像またはインスタンスレベルの整合よりも、チャネルワイド特徴整合がオブジェクト検出におけるドメイン適応に優れているか？
• RQ2 自己チャネルワイドおよびクロスチャネルワイド整合モジュールは、個別および統合的にどのように性能向上に寄与しているか？
• RQ3 提案された減衰したグラム行列損失は、チャネル間依存性を効果的に捉えており、ドメイン一般化性能の向上に寄与しているか？
• RQ4 本手法は、同等の性能向上が得られるようにインスタンスセグメンテーションに拡張可能か？
• RQ5 SCAのバックボーンの異なる段階への配置が、最終的な検出精度にどのように影響するか？

主な発見

• 提案手法は、3つのドメインシフト設定（CityscapesからFoggy-Cityscapes、SIM-10kからCityscapes、KITTIからCityscapes）において、ベースライン手法より5%のmAP向上を達成した。
• 自己チャネルワイド整合（SCA）モジュール単体でも、ソースオンリーベースライン比でmAPが13.5%向上し、その貢献度が顕著であることが示された。
• クロスチャネルワイド整合（CCA）モジュールはソースオンリー比で0.6%向上を達成し、RPNドメイン分類器（RDC）は2.7%向上をもたらした。
• SCAとCCAを組み合わせると39.3%のmAPを達成し、RDCを含む組み合わせよりも優れていることから、両者の相補性が確認された。
• SCA、CCA、RDCを統合した完全なモデルが最高のmAPを達成し、多段階整合による相乗効果が裏付けられた。
• インスタンスセグメンテーションでは、バウンディングボックスでmAPが3.8%向上、マスクで12.1%向上し、SOTA手法であるSCDAを上回った。