[논문 리뷰] Multi-adversarial Faster-RCNN for Unrestricted Object Detection

Zhenwei He, Lei Zhang|arXiv (Cornell University)|2019. 07. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 42

한 줄 요약

논문은 MAF를 소개한다. 이는 계층적 다중 적대적 도메인 특징 정렬과 가중된 gradient 역전 계층을 이용해 라벨링된 소스 도메인과 라벨이 없는 타깃 도메인 간에 제한 없이 객체 탐지를 가능하게 하는 Faster-RCNN 기반 감지기이다.

ABSTRACT

Conventional object detection methods essentially suppose that the training and testing data are collected from a restricted target domain with expensive labeling cost. For alleviating the problem of domain dependency and cumbersome labeling, this paper proposes to detect objects in an unrestricted environment by leveraging domain knowledge trained from an auxiliary source domain with sufficient labels. Specifically, we propose a multi-adversarial Faster-RCNN (MAF) framework for unrestricted object detection, which inherently addresses domain disparity minimization for domain adaptation in feature representation. The paper merits are in three-fold: 1) With the idea that object detectors often becomes domain incompatible when image distribution resulted domain disparity appears, we propose a hierarchical domain feature alignment module, in which multiple adversarial domain classifier submodules for layer-wise domain feature confusion are designed; 2) An information invariant scale reduction module (SRM) for hierarchical feature map resizing is proposed for promoting the training efficiency of adversarial domain adaptation; 3) In order to improve the domain adaptability, the aggregated proposal features with detection results are feed into a proposed weighted gradient reversal layer (WGRL) for characterizing hard confused domain samples. We evaluate our MAF on unrestricted tasks, including Cityscapes, KITTI, Sim10k, etc. and the experiments show the state-of-the-art performance over the existing detectors.

연구 동기 및 목표

• 도메인 차이로 인한 객체 탐지 모델의 도메인 편차를 해결하기 위해 라벨이 달린 소스 도메인에서 학습하고 라벨이 없는 타깃 도메인에서 테스트를 수행한다.
• 다중 적대적 정렬을 통해 다수의 컨볼루션 블록에서 도메인 불변 특징 표현을 학습한다.
• 계층적 특징 맵에서의 학습 효율성을 높이기 위해 스케일 감소 모듈(SRM)을 도입한다.
• 제안 특징을 분류 점수와 경계 상자 좌표와 연결해 도메인 구분 전에 제안 특징을 집계하는 모듈로 제안 특징 정렬을 강화한다.
• 어려운 구분 샘플에 가중된 경사 역전 층을 적용해 적대적 학습 중 도메인 적응 방향을 제시한다.
• 소스 도메인에서의 탐지 손실과 계층적 및 제안 특징 간의 적대적 도메인 정렬 손실을 포함하는 결합 손실로 엔드투엔드 학습한다.

제안 방법

• VGG16 백본을 가진 Faster-RCNN을 기반으로 한다.
• 컨볼루션 블록 3, 4, 5에 배치된 다중 적대적 도메인 분류기 서브모듈을 이용한 계층적 도메인 특징 정렬을 도입한다.
• 정보 손실 없이 특징 맵의 축소를 통해 학습 효율을 높이기 위해 스케일 감소 모듈을 적용한다.
• 도메인 구분 전에 제안 특징을 분류 점수와 경계 상자 좌표와 연결해 정렬하는 제안 특징 정렬 모듈을 추가한다.
• 어려운 샘플에 가중된 GRL을 사용해 적대적 학습 중 도메인 적합성을 향상시키고 도메인 적응을 유도한다.
• 소스 도메인의 탐지 손실과 계층적 및 제안 특징 간의 적대적 도메인 정렬 손실을 포함하는 결합 손실로 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 소스 도메인과 타깃 도메인 간의 객체 탐지 모델에서 도메인 차이를 어떻게 최소화할 수 있을까?
• RQ2 다수의 CNN 블록에 걸친 계층적 도메인 특징 정렬이 단일 블록 정렬보다 교차 도메인 탐지를 더 개선하는가?
• RQ3 제안 수준의 특징을 탐지 출력과 결합하고 가중된 GRL를 적용하여 객체 탐지기의 도메인 혼동을 높일 수 있는가?
• RQ4 ADAPT를 위한 SRM이 학습 효율성과 성능에 미치는 영향은 무엇인가?
• RQ5 Cityscapes, Foggy Cityscapes, KITTI, SIM10K 간의 제한 없는 객체 탐지에서 MAF의 성능은 기존 방법에 비해 어떤가?

주요 결과

• MAF는 Cityscapes, Foggy Cityscapes, KITTI, SIM10K 데이터셋 간의 제한 없는 객체 탐지에서 최첨단 성능을 달성한다.
• 다수의 CNN 블록에 걸친 다중 적대적 도메인 분류기를 사용하면 단일 블록 정렬보다 도메인 불변 특징 학습이 개선된다.
• SRM은 정보 손실 없이 특징 맵의 크기를 줄여 학습 속도를 높이고 적대적 학습 효율을 강화한다.
• 제안 특징을 탐지 출력과 결합하고 WGRL을 더하면 타깃 도메인에 대한 도메인 혼동과 mAP가 더욱 향상된다.
• MAF는 합성-현실 및 크로스-씬 시나리오를 포함한 여러 교차 도메인 설정에서 이전 DAF 방법보다 우수한 성능을 보인다.