[논문 리뷰] Learning to Generate Synthetic Data via Compositing

Shashank Tripathi, Siddhartha Chandra외 4명|arXiv (Cornell University)|2019. 04. 10.

Anomaly Detection Techniques and Applications참고 문헌 47인용 수 6

한 줄 요약

이 논문은 타겟 네트워크와 실제 이미지 판별기와의 적대적 훈련을 통해 타겟 네트워크와 함께 훈련 가능한 합성 네트워크를 사용하여 고품질의 훈련 샘플을 생성하는 작업 인식형, 효율적이고 현실적인 합성 데이터 생성 프레임워크인 TERSE를 제안한다. 이 방법은 오직 반만 된 훈련 데이터로도 객체 검출 및 분류 성능을 최대 3.5% mAP 향상시키며, 배경 영역에 유사한 혼합 아티팩트를 삽입하여 혼합 아티팩트에 대한 과적합을 완화한다.

ABSTRACT

We present a task-aware approach to synthetic data generation. Our framework employs a trainable synthesizer network that is optimized to produce meaningful training samples by assessing the strengths and weaknesses of a `target' network. The synthesizer and target networks are trained in an adversarial manner wherein each network is updated with a goal to outdo the other. Additionally, we ensure the synthesizer generates realistic data by pairing it with a discriminator trained on real-world images. Further, to make the target classifier invariant to blending artefacts, we introduce these artefacts to background regions of the training images so the target does not over-fit to them. We demonstrate the efficacy of our approach by applying it to different target networks including a classification network on AffNIST, and two object detection networks (SSD, Faster-RCNN) on different datasets. On the AffNIST benchmark, our approach is able to surpass the baseline results with just half the training examples. On the VOC person detection benchmark, we show improvements of up to 2.7% as a result of our data augmentation. Similarly on the GMU detection benchmark, we report a performance boost of 3.5% in mAP over the baseline method, outperforming the previous state of the art approaches by up to 7.5% on specific categories.

연구 동기 및 목표

• 기존의 합성 데이터 생성 방법이 낮은 가치이거나 비현실적인 샘플을 생성하는 데서 비효율성과 도메인 갭을 해결하기 위해.
• 목표 네트워크 성능 향상을 위해 어려운, 의미 있는 예제를 생성하는 작업 인식형 데이터 합성 방법을 개발하기 위해.
• 합성 복합 샘플이 자연 이미지 분포를 따르도록 실제 이미지에서 훈련된 판별기를 통해 현실성을 보장하여 분포 이탈을 최소화하기 위해.
• 복합 과정 중 배경 영역에 유사한 혼합 아티팩트를 삽입하여 타겟 네트워크가 이러한 아티팩트에 강인하도록 하기 위해.
• 이 프레임워크를 통해 생성된 합성 데이터가 더 적은 데이터 요구량으로도 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 합성 네트워크, 타겟 네트워크, 실제 이미지 판별기로 구성된 세 네트워크의 적대적 프레임워크로, 상호 향상이 이루어지도록 동시에 훈련된다.
• 합성 네트워크는 최적화된 애핀 변환을 적용한 전경 객체를 배경 이미지에 복합하여, 타겟 네트워크와 판별기 양쪽을 속일 수 있는 합성 훈련 샘플을 생성한다.
• 타겟 네트워크는 합성 데이터를 훈련하여 분류 또는 검출 정확도를 향상시키며, 이를 합성 네트워크로 피드백한다.
• 실제 이미지 판별기는 실제 세계 이미지에서 훈련되어 합성 복합 샘플이 자연 이미지 분포를 따르도록 하여 현실성을 향상시킨다.
• 전경 형태의 컷아웃을 붙여서 배경 영역에 혼합 아티팩트를 삽입함으로써 타겟 네트워크가 이러한 아티팩트에 강인하도록 한다.
• 이 프레임워크는 분류(affNIST), 객체 검출(SSD on VOC), 인스턴스 검출(Faster R-CNN on GMU Kitchen) 작업에 대해 종단 간(end-to-end)으로 적용된다.

실험 결과

연구 질문

• RQ1 작업 인식형이면서도 효율적인 합성 데이터 생성 방법을 설계할 수 있는가? 이는 더 적은 수의 더 효과적인 훈련 샘플을 생성할 수 있다.
• RQ2 기존에 과적합을 유도하는 혼합 아티팩트에 대해 어떻게 합성 데이터 생성을 강인하게 만들 수 있는가?
• RQ3 합성 네트워크, 타겟 네트워크, 판별기 간의 적대적 훈련이 모델 일반화 및 성능 향상에 얼마나 기여하는가?
• RQ4 복합 기반으로 생성된 합성 데이터가 객체 검출 및 분류 작업에서 기존 데이터 증강 기법과 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ5 실제 이미지 판별기를 도입함으로써 합성 데이터의 현실성과 일반화 능력이 상당히 향상되는가?

주요 결과

• AffNIST 벤치마크에서 제안된 방법은 기존 방법 대비 훈련 데이터의 50%만으로도 열등한 성능를 기록한다.
• VOC 사람 검출 벤치마크에서, 이 방법은 IoU 임계치 0.8일 때 mAP를 최대 2.7% 향상시키며, 기존 방법과 이전 연구를 모두 능가한다.
• GMU Kitchen 데이터셋에서, 이 방법은 기존 Faster R-CNN 대비 mAP를 3.5% 향상시키며, 이전 최신 기술 수준의 방법보다도 1% 높은 성능을 기록한다.
• 특정 카테고리인 'palmolive-orange'의 경우, 이전 접근 방식 대비 정확도를 최대 7.5% 향상시킨다.
• 실제 이미지 판별기의 추가로 고 IoU 임계치(예: 0.8)에서 성능 향상이 나타나, 더 나은 바운딩 박스 정렬이 가능함을 시사한다.
• 절단 분석 결과, 배경 아티팩트, 판별기, 드롭아웃 각각의 구성 요소가 성능 향상에 점진적으로 기여하며, 특히 판별기가 진정한 바운딩 박스와의 일치도를 크게 향상시킨다.