[논문 리뷰] Progressive Domain Adaptation for Object Detection

Han-Kai Hsu, Chun-Han Yao외 5명|arXiv (Cornell University)|2019. 10. 24.

Domain Adaptation and Few-Shot Learning인용 수 25

한 줄 요약

이 논문은 이미지 간 번역을 통해 생성된 합성 중간 도메인을 사용하여 소스 도메인과 타겟 도미인 사이의 도메인 갭을 다루는 점진적 도메인 적응 프레임워크를 제안한다. 소스에서 중간 도메인으로, 그리고 중간 도메인에서 타겟 도메인으로 순차적으로 특징을 정렬하고 품질 인식 가중 손실을 적용함으로써, 날씨 변화나 대규모 데이터셋 적응과 같은 다양한 실제 환경에서 상태의 최선의 mAP 성능을 달성한다.

ABSTRACT

Recent deep learning methods for object detection rely on a large amount of bounding box annotations. Collecting these annotations is laborious and costly, yet supervised models do not generalize well when testing on images from a different distribution. Domain adaptation provides a solution by adapting existing labels to the target testing data. However, a large gap between domains could make adaptation a challenging task, which leads to unstable training processes and sub-optimal results. In this paper, we propose to bridge the domain gap with an intermediate domain and progressively solve easier adaptation subtasks. This intermediate domain is constructed by translating the source images to mimic the ones in the target domain. To tackle the domain-shift problem, we adopt adversarial learning to align distributions at the feature level. In addition, a weighted task loss is applied to deal with unbalanced image quality in the intermediate domain. Experimental results show that our method performs favorably against the state-of-the-art method in terms of the performance on the target domain.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 서로 다른 분포에서 온 경우 객체 검출에서 발생하는 도메인 이동 문제를 해결한다.
• 소스 도메인과 타겟 도메인 사이에 위치하는 합성 중간 도메인을 도입하여 직접 도메인 적응의 어려움을 줄인다.
• 날씨 변화나 카메라 차이와 같은 큰 도메인 갭이 존재하는 상황에서 모델의 일반화 능력과 학습 안정성을 향상시킨다.
• 중간 도메인의 합성 이미지 품질의 다양성을 고려하기 위해 가중 손실 메커니즘을 개발한다.
• 다양한 적응 설정, 예를 들어 교차 데이터셋 및 대규모 도메인 이동 상황에서 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• GAN 기반의 이미지 간 번역 네트워크를 사용하여 소스 이미지를 타겟 도메인 이미지와 유사하게 변환함으로써 중간 도메인을 구성한다.
• 소스 도메인과 중간 도메인의 특징을 먼저 정렬하고, 그 다음 중간 도메인과 타겟 도메인의 특징을 정렬함으로써 점진적 도메인 적응을 수행한다.
• 중간 단계와 최종 단계에서 특징 분포를 적대적 학습을 통해 도메인 간에 정렬한다.
• 판별기 출력에 기반하여 타겟 도메인 분포에 더 가까운 합성 이미지에 더 높은 중요도를 할당하는 가중 작업 손실을 도입한다.
• 큰 도메인 갭을 두 개의 더 작고 다룰 수 있는 적응 하위 작업으로 나누기 위해 중간 도메인을 다리로 활용한다.
• 가중 손실을 사용하여 저품질의 번역된 이미지에서 발생하는 노이즈의 영향을 줄이면서, 도메인 정렬과 검출 손실을 함께 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 합성 중간 도메인을 도입함으로써 교차 도메인 적응 작업에서 객체 검출 모델의 성능 향상이 가능할까?
• RQ2 소스 도메인과 타겟 도메인 사이에 중간 도메인을 거쳐 점진적으로 적응하는 방식이 직접 도메인 적응보다 더 안정적인 학습과 더 나은 일반화를 이끌어낼 수 있을까?
• RQ3 중간 도메인의 합성 이미지 품질이 모델 성능에 미치는 영향은 무엇이며, 이를 효과적으로 완화할 수 있을까?
• RQ4 제안된 방법이 다양한 실제 환경의 객체 검출 벤치마크에서 기존 최신 기술 수준의 도메인 적응 방법을 초월할 수 있을까?
• RQ5 작고 잘 레이블링된 데이터셋에서 시작하여 대규모이고 다양한 특성을 지닌 레이블이 없는 타겟 데이터셋으로 적응할 경우, 이 방법의 일반화 능력은 어느 정도로 나타날까?

주요 결과

• 제안된 방법은 Cityscapes → BDD100k 주간 환경 적응 작업에서 24.3%의 mAP를 달성하여 기준 방법 [3]보다 3.1% 높고 올리브 모델보다 19.0% 높은 성능을 보였다.
• KITTI → Cityscapes 적응 작업에서 점진적 적응과 합성 데이터를 사용함으로써 mAP를 기준값 20.8%에서 24.3%로 향상시켰다.
• Cityscapes → 안개 낀 Cityscapes 작업에서는 23.7%의 mAP를 기록하여 악천후 조건에서도 뛰어난 성능을 보였다.
• 중간 도메인에서의 가중 손실 사용은 저품질의 합성 이미지가 미치는 부정적 영향을 줄여 안정성과 성능을 향상시켰다.
• 교차 카메라, 날씨 변화, 대규모 데이터셋 적응과 같은 다양한 적응 시나리오에서 일관된 성능 향상을 보였다.
• 정성적 결과는 특히 도전적인 환경에서 객체 종류 전반에 걸쳐 검출 정확도와 일반화 능력 향상을 보여주었다.