[논문 리뷰] Few-shot Adaptive Faster R-CNN

Tao Wang, Xiaopeng Zhang외 2명|arXiv (Cornell University)|2019. 03. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 소수의 느슨하게 레이블링된 타겟 이미지만을 사용하여 소스 도메인 객체 검출기의 빠르고 안정적이며 정확한 타겟 도메인 적응을 가능하게 하는 새로운 프레임워크인 Few-shot Adaptive Faster R-CNN (FAFRCNN)을 제안한다. 데이터 부족, 도메인 이동, 과적합 문제를 해결하기 위해 특징 쌍화 및 소스 모델 특징 정규화(SMFR)를 포함한 이중 수준 적응 모듈을 도입하여, 소수의 적응 설정과 무 supervision 도메인 적응 설정 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To mitigate the detection performance drop caused by domain shift, we aim to develop a novel few-shot adaptation approach that requires only a few target domain images with limited bounding box annotations. To this end, we first observe several significant challenges. First, the target domain data is highly insufficient, making most existing domain adaptation methods ineffective. Second, object detection involves simultaneous localization and classification, further complicating the model adaptation process. Third, the model suffers from over-adaptation (similar to overfitting when training with a few data example) and instability risk that may lead to degraded detection performance in the target domain. To address these challenges, we first introduce a pairing mechanism over source and target features to alleviate the issue of insufficient target domain samples. We then propose a bi-level module to adapt the source trained detector to the target domain: 1) the split pooling based image level adaptation module uniformly extracts and aligns paired local patch features over locations, with different scale and aspect ratio; 2) the instance level adaptation module semantically aligns paired object features while avoids inter-class confusion. Meanwhile, a source model feature regularization (SMFR) is applied to stabilize the adaptation process of the two modules. Combining these contributions gives a novel few-shot adaptive Faster-RCNN framework, termed FAFRCNN, which effectively adapts to target domain with a few labeled samples. Experiments with multiple datasets show that our model achieves new state-of-the-art performance under both the interested few-shot domain adaptation(FDA) and unsupervised domain adaptation(UDA) setting.

연구 동기 및 목표

• 소수의 타겟 도메인 이미지만 존재할 경우 발생하는 도메인 이동으로 인한 객체 검출 성능 저하 문제를 해결하기 위해.
• 데이터 부족, 복잡한 국소화-분류 작업, 소수의 적응에서의 과적응 문제를 극복하기 위해.
• 최소한의 레이블 데이터를 요구하고 과적합을 방지하는 안정적이고 효율적인 적응 프레임워크를 개발하기 위해.
• 기존 방법이 수만 단계가 필요로 하는 데 비해, 수백 단계 이내의 학습으로도 빠른 적응을 가능하게 하기 위해.
• 최소한의 경계 상자 레이블을 가진 느슨하게 레이블링된 타겟 이미지를 사용하여 인간의 레이블링 비용을 줄이기 위해.

제안 방법

• 소스 및 타겟 특징을 쌍으로 묶는 특징 쌍화 메커니즘을 도입하여 제한된 타겟 데이터를 증강한다.
• 이중 수준 적응 모듈을 제안한다: (1) 분할 풀링 기반의 이미지 수준 적응(예: 조명 변화와 같은 전반적인 도메인 이동에 대응)과 (2) 객체 특징의 의미적 정렬을 위한 인스턴스 수준 적응.
• 모든 적응 모듈에서 도메인 적대적 학습을 적용하여 도메인 불변 특징을 학습한다.
• 소스 모델 특징 정규화(SMFR)를 적용하여 소스 모델과 적응된 모델의 특징 일致성을 확보함으로써 학습을 안정화시킨다. 이는 정면 앵커 위치에서 수행된다.
• 분할 풀링 모듈에서 다중 스케일에 걸쳐 공유된 판별자들을 사용하여 표현 학습과 안정성을 향상시킨다.
• 검출 손실, 적대적 손실, SMFR 정규화를 조합하여 전체 FAFRCNN 프레임워크를 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 소수의 레이블링된 타겟 이미지만으로도 최신 기술 수준의 성능을 달성할 수 있는 소수의 적응 프레임워크는 가능한가?
• RQ2 특징 쌍화와 이중 수준 적응은 최소한의 레이블 데이터로 도메인 이동을 효과적으로 완화할 수 있는가?
• RQ3 소스 모델 특징 정규화(SMFR)는 소수의 적응에서 학습 안정성 향상과 분산 감소에 어느 정도 기여하는가?
• RQ4 이미지 수준 적응에서 스케일 간에 판별자 파rameter를 공유하면 도메인 불변 표현 학습이 향상되는가?
• RQ5 기존의 UDA 방법과 비교해 볼 때, 제안된 방법은 최소한의 미세조정 단계로도 빠른 수렴을 달성할 수 있는가?

주요 결과

• S→C 시나리오에서 FAFRCNN은 39.3 AP (±0.6)를 기록하여 소스 모델(33.5 AP)과 SMFR가 없는 베이스라인(36.1 AP)을 크게 앞서나간다.
• SMFR를 적용한 결과, 10번의 랜덤 실행에서의 AP 표준편차가 1.8에서 0.2로 감소하여 학습 안정성 향상이 뚜렷하게 입증된다.
• 쌍화 메커니즘은 다양한 설정에서 성능을 2.3–3.2 AP 포인트 향상시켰으며, 특히 C→U 및 U→C 시나리오에서 가장 큰 성과를 보였다.
• 스케일 간에 판별자를 공유한 결과, 독립적인 판별자 대비 1.7–1.8 AP 포인트 향상되어 상호 보완적인 표현 학습이 이루어졌음을 시사한다.
• 소수의 도메인 적응(FDA)과 무 supervision 도메인 적응(UDA) 설정 모두에서 최신 기술 수준의 성능을 달성했으며, 타겟 이미지가 1~8장 뿐이어도 성능을 유의미하게 확보했다.
• 기존의 UDA 방법이 수만 단계가 필요한 데 비해, FAFRCNN은 수백 단계 내로도 적응이 수렴함을 보여주어 매우 빠른 수렴을 입증했다.