[논문 리뷰] I3Net: Implicit Instance-Invariant Network for Adapting One-Stage Object Detectors

Chaoqi Chen, Zebiao Zheng외 3명|arXiv (Cornell University)|2021. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 5

한 줄 요약

I3Net은 네트워크 레이어 간 계층적 딥 피처 표현을 활용하여 암시적으로 인스턴스 불변 특징을 학습하는, 단일단계 객체 검출기용 새로운 도메인 적응 프레임워크이다. 동적 및 클래스 밸런싱 재가중, 카테고리 인식 객체 패턴 매칭, 정규화된 공동 카테고리 정렬을 도입하여 ROI 기반 특징에 의존하지 않고도 교차 도메인 검출 성능을 향상시켰으며, Comic2k에서 30.1%의 최고 수준 mAP를 달성하고 다양한 벤치마크에서 일관된 성능 향상을 보였다.

ABSTRACT

Recent works on two-stage cross-domain detection have widely explored the local feature patterns to achieve more accurate adaptation results. These methods heavily rely on the region proposal mechanisms and ROI-based instance-level features to design fine-grained feature alignment modules with respect to the foreground objects. However, for one-stage detectors, it is hard or even impossible to obtain explicit instance-level features in the detection pipelines. Motivated by this, we propose an Implicit Instance-Invariant Network (I3Net), which is tailored for adapting one-stage detectors and implicitly learns instance-invariant features via exploiting the natural characteristics of deep features in different layers. Specifically, we facilitate the adaptation from three aspects: (1) Dynamic and Class-Balanced Reweighting (DCBR) strategy, which considers the coexistence of intra-domain and intra-class variations to assign larger weights to those sample-scarce categories and easy-to-adapt samples; (2) Category-aware Object Pattern Matching (COPM) module, which boosts the cross-domain foreground objects matching guided by the categorical information and suppresses the uninformative background features; (3) Regularized Joint Category Alignment (RJCA) module, which jointly enforces the category alignment at different domain-specific layers with a consistency regularization. Experiments reveal that I3Net exceeds the state-of-the-art performance on benchmark datasets.

연구 동기 및 목표

• 영역 제안 네트워크가 없는 상황에서 영역 수준 특징이 제공되지 않는 도메인 이동 상황에서 단일단계 객체 검출기의 적응 문제를 해결하기 위해.
• 저수준(일반적)에서 고수준(특정적) 표현으로 이르는 딥 피처의 체계적 계층성에 기반해 암시적으로 불변 특징을 학습하여 적응 성능을 향상시키기 위해.
• 초기 레이어에서 정보가 없는 배경 특징의 악영향을 줄이고, 도메인 간 전경 객체의 의미 정렬을 향상시키기 위해.
• 도메인 간 카테고리 간 관계를 유지하고, 특히 희귀하거나 적응이 어려운 카테고리에 대해 검출의 강건성을 향상시키기 위해.
• ROI 기반 특징에 의존하지 않고 표준 교차 도메인 객체 검출 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 희귀하거나 적응이 어려운 카테고리에 더 높은 가중치를 부여하기 위해 클래스 불균형과 예측 불확실성에 기반해 타겟 샘플을 동적으로 재가중하는 동적 및 클래스 밸런싱 재가중(DCBR)을 제안한다.
• 카테고리 감독을 활용해 교차 도메인 전경 객체 패턴을 정렬하고, 주의 맵 융합을 통해 저수준에서 배경 특징을 억제하는 카테고리 인식 객체 패턴 매칭(COPM)을 도입한다.
• 검출 헤드 예측에 일관성 정규화를 통합하여 다수의 도메인 특화 레이어 간 카테고리 수준 정렬을 강제하는 정규화된 공동 카테고리 정렬(RJCA)을 설계한다.
• 통합 프레임워크 내에서 이미지 수준 다중 레이블 분류와 픽셀 수준 도메인 식별을 활용해 특징 학습 및 도메인 정렬을 유도한다.
• COPM에서 패턴 매칭과 RJCA에서 일관성 정규화에 L2 거리를 사용하여 도메인 간 구조적 의미 관계를 유지한다.
• 저수준 레이어가 일반적 특징(예: 윤곽, 질감)을 캡처하고 고수준 레이어가 의미적 객체 수준 특징을 캡처하는 CNN의 본질적 특성을 활용하여 암시적 인스턴스 불변성을 달성한다.

실험 결과

연구 질문

• RQ1 RPN에서 유도되는 명시적 인스턴스 수준 특징이 없는 상황에서 단일단계 객체 검출기가 새로운 도메인에 효과적으로 적응될 수 있는가?
• RQ2 네트워크 레이어 간 딥 피처의 계층적 특성을 활용해 단일단계 검출기에서 도메인 이동 문제를 어떻게 완화할 수 있는가?
• RQ3 타겟 샘플의 동적 재가중이 도메인 이동 상황에서 희귀하거나 검출이 어려운 카테고리의 적응에 얼마나 기여하는가?
• RQ4 카테고리 인식 패턴 매칭이 전경 객체의 교차 도메인 정렬을 향상시키고 초기 특징 레이어의 배경 노이즈를 억제하는 데 기여하는가?
• RQ5 일관성 정규화를 통한 다수의 도메인 특화 레이어 간 공동 카테고리 정렬이 더 나은 일반화와 더 적은 오분류를 이끌어내는가?

주요 결과

• I3Net은 Comic2k 벤치마크에서 평균 정밀도(mAP) 30.1%를 달성하여 이전 최고 성능 방법들을 크게 능가한다.
• 제거 실험 결과, DCBR, COPM, RJCA의 모든 구성 요소가 성능 향상에 기여하며, RJCA w/o J는 mAP 29.1%로 하락하여 다중 레이어 정렬의 중요성을 확인한다.
• COPM 모듈은 Clipart1k, Watercolor2k, Comic2k에서의 정성적 결과를 통해 오분류를 줄이고 소형 또는 가림을 입은 객체의 검출을 향상시킨다.
• DCBR는 '자전거'와 '고양이'와 같은 샘플 수가 적은 카테고리의 검출을 향상시켜, 적응이 어려운 샘플의 중요도를 동적으로 높인다.
• 주의 맵의 시각화 결과, I3Net이 특히 도전적인 케이스에서 분류적 전경 영역을 효과적으로 강조하고 배경 노이즈를 억제함을 확인할 수 있다.
• 전체 I3Net 모델은 Pascal VOC → Clipart1k에서 47.5% mAP, VOC → Watercolor2k에서 51.8% mAP, VOC → Comic2k에서 30.1% mAP를 기록하여 다양한 도메인 이동 상황에서 일관된 성능 향상을 보였다.