[논문 리뷰] Improve Object Detection by Data Enhancement based on Generative Adversarial Nets

Wei Jiang, Na Ying|arXiv (Cornell University)|2019. 03. 05.

Advanced Neural Network Applications참고 문헌 10인용 수 8

한 줄 요약

이 논문은 전경 객체의 현실적인 변형을 생성하면서 의미 일관성을 유지함으로써 객체 검출 성능을 햖스시키는 GAN 기반 데이터 증강 방법을 제안한다. 전경-배경 분리 모델을 통해 전경 객체 영역에 색상 왜곡, 노이즈 주입, 대trast 강화를 적용함으로써, DSSD에 321×321 입력을 사용할 때 VOC2007에서 mAP를 1.2% 향상시켜 78.7%로, VOC2012에서는 1.0% 향상시켜 76.6%를 달성한다.

ABSTRACT

The accuracy of the object detection model depends on whether the anchor boxes effectively trained. Because of the small number of GT boxes or object target is invariant in the training phase, cannot effectively train anchor boxes. Improving detection accuracy by extending the dataset is an effective way. We propose a data enhancement method based on the foreground-background separation model. While this model uses a binary image of object target random perturb original dataset image. Perturbation methods include changing the color channel of the object, adding salt noise to the object, and enhancing contrast. The main contribution of this paper is to propose a data enhancement method based on GAN and improve detection accuracy of DSSD. Results are shown on both PASCAL VOC2007 and PASCAL VOC2012 dataset. Our model with 321x321 input achieves 78.7% mAP on the VOC2007 test, 76.6% mAP on the VOC2012 test.

연구 동기 및 목표

• 객체 검출 데이터셋에서 제한적이거나 변화가 없는 객체 앵커팩스 트레이닝을 방해하는 제한된 또는 동일한 객체 앵커팩스 주석 문제를 해결한다.
• 추가 앵커팩스 주석이 필요 없이도 현실적이고 다양한 객체 변형을 통해 훈련 데이터를 증강하여 검출 정확도를 향상시킨다.
• 객체 의미를 유지하면서 시각적 다양성을 도입하는 전경 인식 기반 데이터 증강 전략을 개발한다.
• 특히 PASCAL VOC2007과 VOC2012와 같은 표준 벤치마크에서 GAN 기반 증강의 유효성을 입증한다.
• 의도적이고 의미를 유지하는 데이터 증강을 통해 DSSD 검출기의 성능을 향상시킨다.

제안 방법

• 입력 이미지의 객체 영역을 식별하고 분리하기 위해 전경-배경 분리 모델을 훈련한다.
• 색상 채널 왜곡, 소금-胡椒 노이즈, 대trast 강화와 같은 데이터 증강 기법을 전적으로 전경 객체 영역에 적용한다.
• 객체 정체성과 맥락을 유지하는 현실적인 왜곡을 생성하기 위해 GAN 기반 생성기 사용한다.
• 증강된 이미지를 훈련 세트에 통합하여 모델의 일반화 능력과 앵커팩스 학습을 향상시킨다.
• 321×321 입력 해상도로 증강된 데이터셋에서 DSSD 검출기를 미세 조정한다.
• 생성된 이미지가 현실적이며 다양하도록 적대적 훈련을 활용하여 증강에서 모드 붕괴를 방지한다.

실험 결과

연구 질문

• RQ1 제한된 실제 훈련 데이터가 존재할 때 GAN 기반 데이터 증강이 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 전경 특화 데이터 증강이 기존 증강 방법보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ3 의미 유지 왜곡이 앵커팩스 학습을 향상시키고 표준 벤치마크에서 mAP를 향상시킬 수 있는가?
• RQ4 VOC 데이터셋에서 기준 데이터 증강 대비 제안된 방법의 mAP 향상 정도는 어떠한가?
• RQ5 전경-배경 분리 모델의 사용이 증강 데이터의 현실성과 효과성에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 PASCAL VOC2007 테스트 세트에서 78.7% mAP를 달성하여 기준 DSSD 대비 1.2% 향상되었다.
• PASCAL VOC2012 테스트 세트에서는 76.6% mAP를 기록하여 기준 대비 1.0% 향상되었다.
• 전경 인식 기반 증강 전략은 객체 외관의 다양성을 효과적으로 증가시키면서도 의미 일관성을 유지한다.
• GAN 기반 생성기는 객체 정체성을 유지하면서도 현실적이고 다양한 증강을 생성하여 검출기의 시각적 변동에 대한 강건성을 향상시킨다.
• 이 방법은 VOC2007과 VOC2012 양쪽 모두에서 일관된 성능 향상을 보이며 일반화 능력을 입증한다.
• 결과적으로 객체 영역에 집중된 표적 데이터 증강이 전반적인 이미지 변형보다 더 효과적임을 확인한다.