[논문 리뷰] Instance Relation Graph Guided Source-Free Domain Adaptive Object Detection

Vibashan VS, Poojan Oza외 1명|arXiv (Cornell University)|2022. 03. 29.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 그래프 지도 대비 학습을 통해 특징 표현을 향상시키는 그래프 기반의 대비 학습을 활용하는 소스 없는 도메인 적응 객체 검출 방법을 제안한다. 객체 제안 간의 관계를 모델링하고, 그래프 정수화를 활용한 학생-교수 프레임워크를 통해 목표 도메인 일반화를 향상시켜, Cityscapes→FoggyCityscapes에서 기준 방법 대비 1.9 mAP 향상으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) is an effective approach to tackle the issue of domain shift. Specifically, UDA methods try to align the source and target representations to improve the generalization on the target domain. Further, UDA methods work under the assumption that the source data is accessible during the adaptation process. However, in real-world scenarios, the labelled source data is often restricted due to privacy regulations, data transmission constraints, or proprietary data concerns. The Source-Free Domain Adaptation (SFDA) setting aims to alleviate these concerns by adapting a source-trained model for the target domain without requiring access to the source data. In this paper, we explore the SFDA setting for the task of adaptive object detection. To this end, we propose a novel training strategy for adapting a source-trained object detector to the target domain without source data. More precisely, we design a novel contrastive loss to enhance the target representations by exploiting the objects relations for a given target domain input. These object instance relations are modelled using an Instance Relation Graph (IRG) network, which are then used to guide the contrastive representation learning. In addition, we utilize a student-teacher based knowledge distillation strategy to avoid overfitting to the noisy pseudo-labels generated by the source-trained model. Extensive experiments on multiple object detection benchmark datasets show that the proposed approach is able to efficiently adapt source-trained object detectors to the target domain, outperforming previous state-of-the-art domain adaptive detection methods. Code and models are provided in \href{https://viudomain.github.io/irg-sfda-web/}{https://viudomain.github.io/irg-sfda-web/}.

연구 동기 및 목표

• 개인정보나 기밀 제약으로 인해 소스 데이터를 이용할 수 없을 때 도메인 이동 문제를 해결한다.
• 소스 데이터나 레이블에 접근할 수 없음에도 불구하고 목표 도메인 데이터의 특징 표현 품질을 향상시킨다.
• 소스 모델에서 유도된 노이즈가 많은 가짜 레이블 문제를 해결하기 위해 인스턴스 수준의 관계를 통해 특징의 강건성을 향상시킨다.
• 객체 인스턴스 관계를 활용해 고품질의 양성 쌍을 생성하는 자기지도형 대비 학습 전략을 개발한다.
• 다양한 벤치마크에서 소스 없는 도메인 적응을 위한 객체 검출 분야에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 목표 도메인 내 객체 제안 특징 간의 쌍별 관계를 모델링하기 위해 그래프 컬러레이션 네트워크 기반의 인스턴스 관계 그래프(IRG) 네트워크를 도입한다.
• IRG를 사용하여 대비 표현 학습을 위한 양성 및 음성 쌍을 식별하는 그래프 지도 대비 학습(GCL) 손실을 설계한다.
• 강한-약한 증강 기반의 학생-교수 프레임워크를 활용해 가짜 레이블 품질과 특징 일관성을 향상시킨다.
• 학생 및 교수 네트워크 간의 IRG 표현을 정렬하기 위해 그래프 정수화 손실을 통합하여 지식 전이를 향상시킨다.
• 약한 및 강한 증강을 활용한 면역교수 학습을 통해 소스 데이터 없이도 학습 안정성과 강건성을 향상시킨다.
• 교수 네트워크의 가짜 레이블을 사용해 검출기를 훈련시키며, IRG와 대비 손실이 목표 도메인에서 표현 개선을 이끄는 데 기여한다.

실험 결과

연구 질문

• RQ1 객체 제안 내 인스턴스 수준의 관계를 모델링하면 소스 없는 도메인 적응에서 특징 표현 품질이 향상되는가?
• RQ2 도메인 이동 상황에서 그래프 지도 대비 학습은 표준 대비 학습보다 어떻게 다른가?
• RQ3 소스 데이터가 없을 때 학생-교수 프레임워크와 그래프 정수화를 통합하면 성능 향상이 이루어지는가?
• RQ4 인스턴스 관계 그래프는 소스 없는 적응에서 노이즈가 많은 가짜 레이블의 영향을 어느 정도 줄일 수 있는가?
• RQ5 제안된 방법은 날씨 변화나 카메라 설정 차이와 같은 다양한 도메인 이동 시나리오에 일반화 가능한가?

주요 결과

• Cityscapes→FoggyCityscapes에서 제안된 방법은 37.1 mAP를 달성하여 이전 최신 기술 수준(SOTA) SFOD 방법보다 1.0 mAP 높은 성능을 보였다.
• 그래프 지도 대비 학습(GCL)을 단독으로 추가하면 그래프 정수화를 포함한 기준 방법(35.9 mAP → 37.1 mAP)에서 mAP가 1.9 mAP 향상되었다.
• 면역교수 프레임워크 내 강한-약한(SW) 증강 전략이 가장 높은 성능을 보였으며, 약한-약한(WW) 및 강한-강한(SS) 변형 대비 mAP가 2.1 포인트 향상되었다.
• KITTI→Cityscapes에서의 실험에서도 SFOD 대비 mAP가 1.1 포인트 향상되어 다양한 도메인 이동 유형에 대한 강건성을 입증했다.
• 정성 분석 결과 IRG 네트워크가 상호 인스턴스 관계를 효과적으로 학습하고 표현을 더욱 일관되고 조화로워지게 함을 확인했다.
• 절단 분석 결과 그래프 정수화와 GCL을 결합할 경우 가장 높은 성능 향상이 이루어져 두 구성 요소가 상호 보완적인 역할을 함을 검증했다.