[논문 리뷰] Cross-domain Detection via Graph-induced Prototype Alignment

Minghao Xu, Hang Wang외 3명|arXiv (Cornell University)|2020. 03. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 18

한 줄 요약

이 논문은 그래프 기반 특징 집합을 통해 정확한 인스턴스 수준 특징을 확보하고, 프로토타입 표현을 통해 카테고리 수준의 도메인 정합을 실현하는 이단계 프레임워크인 그래프 유도 프로토타입 정합(GPA)을 제안한다. 또한 클래스 재가중 대비 손실을 통해 불균형 데이터셋에서의 적응을 향상시켜, Faster R-CNN과 결합했을 때 여러 교차 도메인 검출 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Applying the knowledge of an object detector trained on a specific domain directly onto a new domain is risky, as the gap between two domains can severely degrade model's performance. Furthermore, since different instances commonly embody distinct modal information in object detection scenario, the feature alignment of source and target domain is hard to be realized. To mitigate these problems, we propose a Graph-induced Prototype Alignment (GPA) framework to seek for category-level domain alignment via elaborate prototype representations. In the nutshell, more precise instance-level features are obtained through graph-based information propagation among region proposals, and, on such basis, the prototype representation of each class is derived for category-level domain alignment. In addition, in order to alleviate the negative effect of class-imbalance on domain adaptation, we design a Class-reweighted Contrastive Loss to harmonize the adaptation training process. Combining with Faster R-CNN, the proposed framework conducts feature alignment in a two-stage manner. Comprehensive results on various cross-domain detection tasks demonstrate that our approach outperforms existing methods with a remarkable margin. Our code is available at https://github.com/ChrisAllenMing/GPA-detection.

연구 동기 및 목표

• 소스 도메인 모델이 분포 격차로 인해 타겟 도메인에서 성능이 저하되는 교차 도메인 객체 검출에서의 도메인 이동 문제를 해결하기 위해.
• 영역 제안에서의 완전하지도 않고 다중 모드인 인스턴스 표현으로 인해 효과적인 특징 정합이 저해되는 문제를 해결하기 위해.
• 비교적 자원이 적은 클래스에서 무 supervision 도메인 적응 중 성능 저하를 완화하기 위해, 불균형한 카테고리 간의 적응을 조율하기 위해.
• Faster R-CNN을 백본으로 사용하여, 먼저 거시적 배경 및 전경 정합을 수행하고, 이후 세분화된 각 카테고리 정합을 수행하는 점진적인 이단계 특징 정합을 가능하게 하기 위해.

제안 방법

• 그래프 기반 영역 집합은 영역 제안의 위치와 크기를 사용해 관계 그래프를 구성하여 특징을 전파하고 집계함으로써, 인스턴스 수준 표현의 정밀도를 향상시킨다.
• 신뢰도 유도 병합은 다중 모드의 인스턴스 특징을 클래스 프로토타입으로 통합하여, 대표 임베딩을 통한 카테고리 수준의 도메인 정합을 가능하게 한다.
• 클래스 재가중 대비 손실은 부족한 클래스에 더 높은 학습 가중치를 할당하여 카테고리 간 적응을 균형 있게 만들고 일반화 성능을 향상시킨다.
• 이단계 정합은 다음과 같이 구현된다: 첫째, RPN에서 전경 및 배경 클래스 간 도메인 불변 특징을 학습한다; 둘째, RCNN에서 각 카테고리 정합을 수행하여 세분화된 적응을 이룬다.
• 이 프레임워크는 Faster R-CNN과 통합되며, RPN 및 RCNN 단계에서 도메인 정합을 적용하여 도메인 간 특징을 점진적으로 정합한다.
• 이 방법은 그래프 컨볼루션 레이어에 학습 가능한 파라미터를 사용하지만, 추론 결과에 따르면 명시적 지도 없이 도메인 적응을 수행할 경우, 파라미터 없는 버전이 더 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 영역 제안 간 그래프 기반 메시지 전파가 교차 도메인 객체 검출에서 인스턴스 수준 특징 표현을 향상시키는가?
• RQ2 인스턴스 수준 정합에 비해 프로토타입 기반의 카테고리 수준 정합이 도메인 이동을 얼마나 효과적으로 줄이는가?
• RQ3 클래스 재가중 대비 손실이 다중 클래스 교차 도메인 검출에서 자원이 적은 클래스의 적응 성능을 향상시키는가?
• RQ4 이단계 정합(RPN + RCNN)과 단일 단계 정합 간의 도메인 적응 성능에 미치는 영향은 어떠한가?
• RQ5 감지 및 도메인 적응 손실 간 무게 조정 하이퍼파rameter의 변화에 모델 성능이 얼마나 민감한가?

주요 결과

• GPA 프레임워크는 SIM 10k → Cityscapes, Cityscapes → Foggy Cityscapes, COCO → Cityscapes를 포함한 여러 교차 도메인 검출 벤치마크에서 최신 기준 성능을 달성한다.
• 이단계 정합은 단일 단계 설정보다 일관되게 뛰어난 성능을 보이며, 거시적에서 세분화된 정합으로의 점진적 정합의 이점을 입증한다.
• 모델은 하이퍼파rameter 변화에 대해 강건하다: mAP는 무게 매개변수 λ₁ 및 λ₂의 넓은 범위에서 안정적으로 유지되며, 둘 다 0이 아닌 경우 최적 성능을 기록한다.
• 클래스 재가중 대비 손실은 균형 매개변수 γ ≈ 2.0일 때 mAP가 최고에 이를 수 있으며, 이 설정에서 희귀 클래스의 적응이 향상됨을 시사한다.
• t-SNE 시각화 결과는 제안된 방법이 소스 전용 기반 모델보다 소스 및 타겟 도메인 특징을 더 효과적으로 정합함을 확인했으며, 더 명확한 클래스 간 분리가 이루어짐을 보여준다.
• 정성적 결과는 GPA가 심한 가림 상태에서도 가짜 양성(false positive)을 줄이고 정위치 정확도를 향상시키며, 복잡한 시나리오에서 DA [5]와 같은 기반 방법보다 뛰어난 성능을 보임을 보여준다.