[논문 리뷰] Data augmentation with Symbolic-to-Real Image Translation GANs for Traffic Sign Recognition

Nour Soufi, Matías Valdenegro-Toro|arXiv (Cornell University)|2019. 07. 17.

Handwritten Text Recognition Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 데이터 증강을 위해 기호적 표현에서 실제 이미지로의 번역을 위해 조건부 GAN(pix2pix)을 사용하여 교통 표지 데이터셋을 증강하고, 원형 표지의 분류 정확도를 92.1%에서 94.0%로 1.9% 향상시키며, 삼각형 표지의 경우 93.8%에서 95.3%로 1.5% 향상시켰다. 성과는 있었지만, 대비 변화 및 이동 변형과 같은 전통적 증강 기법이 더 뛰어나 95.5% 및 96.7%의 정확도를 기록하여, 이 분야에서 GAN 기반 증강이 항상 최적은 아님을 시사한다.

ABSTRACT

Traffic sign recognition is an important component of many advanced driving assistance systems, and it is required for full autonomous driving. Computational performance is usually the bottleneck in using large scale neural networks for this purpose. SqueezeNet is a good candidate for efficient image classification of traffic signs, but in our experiments it does not reach high accuracy, and we believe this is due to lack of data, requiring data augmentation. Generative adversarial networks can learn the high dimensional distribution of empirical data, allowing the generation of new data points. In this paper we apply pix2pix GANs architecture to generate new traffic sign images and evaluate the use of these images in data augmentation. We were motivated to use pix2pix to translate symbolic sign images to real ones due to the mode collapse in Conditional GANs. Through our experiments we found that data augmentation using GAN can increase classification accuracy for circular traffic signs from 92.1% to 94.0%, and for triangular traffic signs from 93.8% to 95.3%, producing an overall improvement of 2%. However some traditional augmentation techniques can outperform GAN data augmentation, for example contrast variation in circular traffic signs (95.5%) and displacement on triangular traffic signs (96.7 %). Our negative results shows that while GANs can be naively used for data augmentation, they are not always the best choice, depending on the problem and variability in the data.

연구 동기 및 목표

• 부족한 훈련 데이터로 인한 SqueezeNet을 사용한 교통 표지 인식의 낮은 분류 정확도 문제를 해결하기 위해.
• 기호적 표현에서 실제 이미지로의 번역을 위해 생성적 적대적 네트워크(GAN)를 데이터 증강 방법으로 탐색하기 위해.
• 기호적-실제 이미지 번역을 위해 pix2pix를 사용하여 조건부 GAN에서 모드 붕괴 문제를 극복하기 위해.
• 분류 성능 측면에서 GAN 기반 증강과 전통적 데이터 증강 기법을 비교하기 위해.
• GAN으로 생성된 이미지가 실제 세계 교통 표지 데이터셋에서 모델의 일반화 능력을 효과적으로 향상시킬 수 있는지 평가하기 위해.

제안 방법

• 기호적(벡터 기반) 교통 표지 표현에서 실제 세계 이미지로의 이미지 간 번역을 위해 pix2pix GAN 아키텍처를 변형하였다.
• 생성자 모델이 기호 입력 이미지를 사진처럼 현실적인 출력으로 매핑하도록 학습하는 조건부 GAN을 훈련시켰으며, 판별자는 실제 이미지와 생성된 이미지를 구분하도록 했다.
• 더 나은 질감과 세부 사항 생성을 위해 국소 이미지 패치를 평가하는 PatchGAN 판별자를 사용하였다.
• 생성된 이미지를 SqueezeNet 기반 교통 표지 분류에 대한 증강된 훈련 데이터로 적용하였다.
• 생성자 및 판별자의 에너지 레이어 수와 훈련 반복 횟수를 포함한 하이퍼파rameter를 최적화하였다.
• 원형 및 삼각형 교통 표지 서브셋에 대해 표준 지표인 정확도와 균형 정확도를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 pix2pix GAN은 기호적 표현에서부터 데이터 증강을 위한 현실적인 교통 표지 이미지를 효과적으로 생성할 수 있는가?
• RQ2 기존 기반 및 전통적 증강 기법과 비교해 GAN 기반 데이터 증강이 SqueezeNet의 교통 표지 인식 작업에서 분류 정확도를 향상시키는가?
• RQ3 대비 변화 및 이동 변형과 같은 기존 데이터 증강 기법과 비교해 GAN 기반 증강의 성능은 어떠한가?
• RQ4 이 특정 작업에서 왜 전통적 증강 기법이 GAN 기반 증강을 능가하는가?
• RQ5 훈련 데이터의 다양성이 낮을 경우 조건부 GAN을 데이터 증강에 사용할 때의 한계는 무엇인가?

주요 결과

• GAN 기반 데이터 증강은 원형 교통 표지의 분류 정확도를 92.1%에서 94.0%로 1.9% 향상시켰다.
• 삼각형 교통 표지의 경우 정확도가 93.8%에서 95.3%로 1.5% 향상되었다.
• 전통적 대비 변화 증강은 원형 표지에서 95.5%의 정확도를 기록하여 GAN 기반 방법을 능가했다.
• 삼각형 표지에서 이동 변형 증강은 96.7%의 정확도를 기록하여 GAN으로는 95.3%에 그쳤다.
• 이 연구에서는 GAN이 항상 데이터 증강에 최적의 선택은 아니며, 특히 단순한 전통적 방법이 더 좋은 성능을 내는 경우가 있음을 발견했다.
• 성공적인 이미지 번역에도 불구하고, 생성된 이미지가 수동으로 설계된 증강 기법만큼 일반화 능력이 떨어지지 않아, GAN이 복잡한 실제 세계 데이터 변동성을 모델링하는 데 한계를 가짐을 시사한다.