[논문 리뷰] Task-specific Inconsistency Alignment for Domain Adaptive Object Detection

Liang Zhao, Limin Wang|arXiv (Cornell University)|2022. 03. 29.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 객체 검출을 위한 도메인 적응 기법으로 임의의 작업 특화 비일관성 정렬(Task-specific Inconsistency Alignment, TIA)을 제안한다. TIA는 특징 정렬을 분류 및 검출 작업 공간으로 분리함으로써 특징 정렬을 분리하여 처리한다. 보조 예측기와 샤논 엔트로피 및 표준편차를 사용하여 작업 특화 행동 비일관성을 측정함으로써, 분류 및 검출 각각의 하위작업에 대해 독립적으로 도메인 정렬을 최적화하며, 분류와 검출 각각 +3.6% 및 +2.1%의 mAP 향상으로 최신 기술 성능을 달성한다.

ABSTRACT

Detectors trained with massive labeled data often exhibit dramatic performance degradation in some particular scenarios with data distribution gap. To alleviate this problem of domain shift, conventional wisdom typically concentrates solely on reducing the discrepancy between the source and target domains via attached domain classifiers, yet ignoring the difficulty of such transferable features in coping with both classification and localization subtasks in object detection. To address this issue, in this paper, we propose Task-specific Inconsistency Alignment (TIA), by developing a new alignment mechanism in separate task spaces, improving the performance of the detector on both subtasks. Specifically, we add a set of auxiliary predictors for both classification and localization branches, and exploit their behavioral inconsistencies as finer-grained domain-specific measures. Then, we devise task-specific losses to align such cross-domain disagreement of both subtasks. By optimizing them individually, we are able to well approximate the category- and boundary-wise discrepancies in each task space, and therefore narrow them in a decoupled manner. TIA demonstrates superior results on various scenarios to the previous state-of-the-art methods. It is also observed that both the classification and localization capabilities of the detector are sufficiently strengthened, further demonstrating the effectiveness of our TIA method. Code and trained models are publicly available at https://github.com/MCG-NJU/TIA.

연구 동기 및 목표

• 기존 도메인 적응 방법이 객체 검출에서 분류 및 검출 성능를 동시에 향상시키지 못하는 한계를 해결하기 위해.
• 공유 특징 공간이 아닌 별도의 작업 공간에서 특징을 명시적으로 정렬하여 도메인 이동 문제를 해결하기 위해.
• 보조 예측기의 행동 비일관성을 활용하여 분류 및 검출을 위한 특징의 전이 가능성 향상하기 위해.
• 카테고리별 및 경계별 예측의 도메인 간 차이를 더 잘 포착하는 작업 특화 손실 함수 개발하기 위해.

제안 방법

• 각 작업 브랜치에 대해 보조 분류기와 지역화기 세트를 도입하여 작업 특화 행동 출력 생성하기.
• 샤논 엔트로피(SE)를 사용하여 보조 분류기 간의 불일치를 측정하고 최소화함으로써 카테고리별 도메인 차이를 포착하기.
• 표준편차(SD)를 사용하여 지역화기 예측의 모호성을 정량화하고 감소시킴으로써 도메인 간 경계별 일관성 향상하기.
• 각 작업 공간에서 독립적으로 정렬을 최적화하기 위해 두 개의 작업 특화 비일관성 정렬 손실 함수 $\mathcal{L}_{ia}^{cls}$ 및 $\mathcal{L}_{ia}^{loc}$ 를 설계하기.
• 학습 중에 손실 함수를 적용하여 특징를 정교화함으로써 분류 및 검출 능력을 분리된 방식으로 향상시키기.
• 백본을 수정하지 않고 이중 기반 검출기 내에 TIA 모듈을 통합하여 최소한의 계산 오버헤드로 엔드 투 엔드 학습 가능하게 하기.

실험 결과

연구 질문

• RQ1 분류 및 검출 작업 공간으로 정렬을 분리함으로써 객체 검출의 도메인 적응을 향상시킬 수 있는가?
• RQ2 보조 예측기 간 행동 비일관성 측정이 공동 특징 공간 정렬보다 도메인 간 차이를 더 잘 포착하는가?
• RQ3 엔트로피와 표준편차를 기반으로 한 작업 특화 손실 함수가 분류 및 검출 작업 양쪽에서 도메인 이동을 효과적으로 줄일 수 있는가?
• RQ4 제안된 비일관성 기반 정렬 방법이 MCD, DANN, SWD와 같은 기존 도메인 정렬 기법보다 객체 검출에서 더 효과적인가?

주요 결과

• TIA는 PASCAL VOC → Clipart와 같은 여러 도메인 이동 벤치마크에서 최신 기술 성능을 달성하며, 분류에서 +3.6% mAP 향상, 검출에서 +2.1% 향상 달성.
• 제안된 비일관성 정렬 손실 함수 ($\mathcal{L}_{ia}^{cls}$ 및 $\mathcal{L}_{ia}^{loc}$) 는 L1, KL 발산, SWD와 같은 표준 손실 함수보다 도메인 간 차이를 더 잘 포착함.
• 보조 분류기 수($N$)를 늘릴수록 지역화기 수($M$)를 늘릴 때보다 성능 향상이 더著명하게 나타나, 카테고리별 비일관성이 경계별 모호성보다 더 정보가 많음을 시사함.
• TIA는 처음으로 소스 전용 기반 모델 대비 잘못된 위치 지정 오류를 감소시킴으로써 검출 정확도 향상의 효과를 입증함.
• 오류 분석 결과 TIA는 IoU ≥ 0.5인 정확한 검출 수를 증가시키고, 오진 양성 및 잘못된 위치 지정 수를 감소시켜 양쪽 작업에서 특징의 구분 능력 향상됨을 확인함.