[論文レビュー] I3Net: Implicit Instance-Invariant Network for Adapting One-Stage Object Detectors

Chaoqi Chen, Zebiao Zheng+3 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 5

ひとこと要約

I3Net は、ネットワーク層間の階層的ディープ特徴表現を活用してインスタンス不変特徴を暗黙的に学習する、ワンステージオブジェクト検出器向けの新しいドメイン適応フレームワークである。動的かつクラスバランス最適化再重み付け、カテゴリに特化したオブジェクトパターンマッチング、正則化付きジョイントカテゴリアライメントを導入し、明示的なインスタンスレベル特徴を必要とせず、Comic2k で 30.1% の最先端の mAP を達成し、さまざまなベンチマークで一貫した向上を実現した。

ABSTRACT

Recent works on two-stage cross-domain detection have widely explored the local feature patterns to achieve more accurate adaptation results. These methods heavily rely on the region proposal mechanisms and ROI-based instance-level features to design fine-grained feature alignment modules with respect to the foreground objects. However, for one-stage detectors, it is hard or even impossible to obtain explicit instance-level features in the detection pipelines. Motivated by this, we propose an Implicit Instance-Invariant Network (I3Net), which is tailored for adapting one-stage detectors and implicitly learns instance-invariant features via exploiting the natural characteristics of deep features in different layers. Specifically, we facilitate the adaptation from three aspects: (1) Dynamic and Class-Balanced Reweighting (DCBR) strategy, which considers the coexistence of intra-domain and intra-class variations to assign larger weights to those sample-scarce categories and easy-to-adapt samples; (2) Category-aware Object Pattern Matching (COPM) module, which boosts the cross-domain foreground objects matching guided by the categorical information and suppresses the uninformative background features; (3) Regularized Joint Category Alignment (RJCA) module, which jointly enforces the category alignment at different domain-specific layers with a consistency regularization. Experiments reveal that I3Net exceeds the state-of-the-art performance on benchmark datasets.

研究の動機と目的

• 領域のズレ下で、領域提案ネットワークが存在しないため、明示的なインスタンスレベル特徴が利用できない状況において、ワンステージオブジェクト検出器を適応させる課題に対処すること。
• 低レベル（一般）から高レベル（特定）の表現に至るディープ特徴の自然な階層を活用して、インスタンス不変特徴を暗黙的に学習することで、適応性能を向上させること。
• 初期層における情報の少ないバックグラウンド特徴の悪影響を軽減し、ドメイン間でのフォアグラウンドオブジェクトの意味的アライメントを強化すること。
• ドメイン間のカテゴリ関係を維持し、とくにレアまたは適応が難しいカテゴリに対して検出のロバスト性を向上させること。
• ROIベースの特徴に依存せずに、標準的なクロスドメインオブジェクト検出ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• クラスの不均衡と予測の不確実性に基づいて、ターゲットサンプルを動的に再重み付けする動的かつクラスバランス最適化再重み付け（DCBR）を提案し、レアまたは適応が難しいカテゴリに高い重みを割り当てる。
• カテゴリの監視情報を用いて、ドメイン間のフォアグラウンドオブジェクトパターンをアライメントするカテゴリに特化したオブジェクトパターンマッチング（COPM）を導入し、注意マップの統合により低層でのバックグラウンド特徴を抑制する。
• 複数のドメイン固有層にわたるカテゴリレベルのアライメントを強制する正則化付きジョイントカテゴリアライメント（RJCA）を設計し、検出ヘッドの予測に一貫性正則化を組み込む。
• 画像レベルのマルチラベル分類とピクセルレベルのドメイン識別を統合フレームワーク内で用いて、特徴学習とドメインアライメントをガイドする。
• COPMにおけるパターンマッチングとRJCAにおける一貫性正則化にL2距離を採用し、ドメイン間で構造的な意味的関係を保持する。
• 畳み込みニューラルネットワークの内在的性質である、低層が一般特徴（例：エッジ、テクスチャ）を捉え、高層が意味的オブジェクトレベル特徴を捉えることを利用し、暗黙的なインスタンス不変性を実現する。

実験結果

リサーチクエスチョン

• RQ1 RPN からのような明示的なインスタンスレベル特徴が利用できない状況において、ワンステージオブジェクト検出器を新しいドメインに効果的に適応できるか？
• RQ2 ネットワーク層間のディープ特徴の階層的性質を活用することで、ワンステージ検出器におけるドメインズレをどのように軽減できるか？
• RQ3 ターゲットサンプルの動的再重み付けは、ドメインズレの状況下で、サンプルが少ないカテゴリや検出が難しいカテゴリの適応をどの程度向上できるか？
• RQ4 カテゴリに特化したパターンマッチングは、フォアグラウンドオブジェクトのドメイン間アライメントを向上させると同時に、初期特徴層におけるバックグラウンドノイズを効果的に抑制できるか？
• RQ5 一貫性正則化を組み込んだ複数のドメイン固有層にわたるジョイントカテゴリアライメントは、より良い一般化性能と誤検出の低減をもたらすか？

主な発見

• I3Net は Comic2k ベンチマークで 30.1% の平均平均精度（mAP）を達成し、先行する最先端手法を顕著に上回った。
• アブレーションスタディにより、DCBR、COPM、RJCA のすべてのモジュールが性能向上に寄与していることが確認され、RJCA w/o J では mAP が 29.1% に低下した。これは、複数層にわたるアライメントの重要性を示している。
• COPM モジュールは、Clipart1k、Watercolor2k、Comic2k における定性的な結果から、誤検出を低減し、小さなまたはぼやけたオブジェクトの検出を向上させた。
• DCBR により、'bike' や 'cat' のようなサンプルが少ないカテゴリの検出が向上し、適応が難しいサンプルの重要性が動的に高められた。
• 注意マップの可視化により、I3Net が識別的なフォアグラウンド領域を効果的に強調し、特に困難なケースにおいてバックグラウンドノイズを抑制していることが確認された。
• 完全な I3Net モデルは、Pascal VOC → Clipart1k で 47.5%、VOC → Watercolor2k で 51.8%、VOC → Comic2k で 30.1% の mAP を達成し、多様なドメインズレに対して一貫した向上を示した。