[논문 리뷰] Domain Adaptation for Object Detection via Style Consistency

Adrian Rodriguez, Krystian Mikolajczyk|arXiv (Cornell University)|2019. 11. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 60

한 줄 요약

두 단계의 도메인 적응 방법이 제안되는데, (1) 픽셀 수준 스타일 전이로 저수준 스타일 격차를 해소하고 특징-일관성 제약을 추가하며, (2) 강건한 의사레이블링으로 고수준 특징을 적응시키는 것이다. VOC 및 스타일-변형 대상 도메인에서 SSD300으로 평가한다.

ABSTRACT

We propose a domain adaptation approach for object detection. We introduce a two-step method: the first step makes the detector robust to low-level differences and the second step adapts the classifiers to changes in the high-level features. For the first step, we use a style transfer method for pixel-adaptation of source images to the target domain. We find that enforcing low distance in the high-level features of the object detector between the style transferred images and the source images improves the performance in the target domain. For the second step, we propose a robust pseudo labelling approach to reduce the noise in both positive and negative sampling. Experimental evaluation is performed using the detector SSD300 on PASCAL VOC extended with the dataset proposed in arxiv:1803.11365 where the target domain images are of different styles. Our approach significantly improves the state-of-the-art performance in this benchmark.

연구 동기 및 목표

• 원천 도메인과 대상 도메인이 저수준 특징과 고수준 특징에서 다를 때 물체 탐지를 위한 도메인 적응의 동기를 제시한다.
• 저수준 도메인 간격을 줄이면서 고수준 특징 일관성을 강제하기 위해 픽셀 수준 스타일 전이 접근법을 개발한다.
• 대상 도메인의 고수준 차이에 탐지기를 적응시키기 위한 강건한 의사레이블링 전략을 도입한다.
• 스타일 전이, 특징 일관성 및 강건한 의사레이블링을 하나의 학습 목표에 통합한다.
• PASCAL VOC 및 스타일이 다양한 대상 도메인(Clipart, Watercolor, Comic)에서 SSD300에 대해 실증적으로 검증한다.

제안 방법

• Adaptive Instance Normalization 스타일 전이를 사용하여 각 소스 이미지 x_S로부터 여러 스타일 전이 변형 x_S→T를 생성한다.
• K개의 마지막 특징 맵에서 f_k(x_S)와 f_k(x_S→T) 간의 거리를 최소화하여 고수준 특징 일관성을 강제한다.
• 저수준 강건성을 촉진하기 위하여 x_S와 x_S→T 모두에서 표준 손실로 SSD를 훈련한다.
• 타깃 도메인 이미지에 강건한 의사레이블링을 적용하여 h(b)의 임계치를 사용해 높은 신뢰도 탐지를 양성으로 선택하고, 노이즈를 줄이기 위한 별도의 임계치로 음성을 샘플링한다.
• x_T와 x_T→T에 대한 의사레이블을 생성하고 소스 및 대상 스타일 증강 데이터를 모두 사용하여 재훈련한다.
• 손실들을 하나의 목적 L = λ1 L_ST + λ2 L_Cons + λ3 L_S + λ4 L_RPL로 결합하고 두 단계의 학습을 수행한다(초기 단계는 소스 및 스타일-전이 데이터를 사용, 두 번째 단계는 의사레이블이 포함된 대상 데이터를 포함).

실험 결과

연구 질문

• RQ1 스타일 기반 픽셀 적응만으로 시각적으로 서로 다른 스타일 간의 도메인 차이를 물체 탐지에서 해소할 수 있는가?
• RQ2 원본 이미지와 스타일-전이 이미지 간의 고수준 특징 일관성을 강제하는 것이 저수준 변화에 대한 탐지기 강건성을 향상시키는가?
• RQ3 타깃 도메인 이미지의 강건한 의사레이블링을 포함하는 것이 고수준 도메인 이동에 분류기를 더 적응시키는가?
• RQ4 스타일 전이, 특징 일관성, 강건한 의사레이블링을 결합하는 것이 교차 도메인 탐지 성능에 미치는 영향은 무엇인가?

주요 결과

• 특징 일관성을 갖춘 스타일 전이는 도메인 전이된 이미지만 사용하는 것보다 스타일이 다양한 도메인에서 탐지 성능을 향상시킨다.
• 고수준 특징 일관성을 강제하면 Clipart1k, Watercolor2k, Comic2k 데이터셋에서 추가 이득이 발생한다. (정량적 구체 사항은 논문 결과에 있다.)
• 타깃 도메인 이미지와 스타일 전이 타깃 도메인 이미지를 사용한 강건한 의사레이블링이 스타일 전이 또는 의사레이블링만 사용했을 때보다 성능을 더 향상시킨다.
• 결합된 접근법은 평가된 벤치마크에서 여러 기존 도메인 적응 방법과 비교하여 최첨단 개선을 달성한다.